AZ
если вы обращаетесь к данным в ваших регулярных процессах то вам Glacier не нужен, это для архивов и бэкапов
Size: a a a
2020 August 13
A
вот читаю про Glacier, что на S3 можно автоматически настроить архивирование в Glacier из S3 по политикам. Я смогу как-то програмно отловить событие архивирования(когда наступит его время).. там к примеру через AWS Lambda?
AZ
через SNS
AZ
Glacier это еще один Storage Class (точнее их два вида), мб вам промежуточные подойдут https://aws.amazon.com/s3/storage-classes/
A
понял, просто нужно будет пометку соответствующею делать в метаданных об этом объекте. что он уехал в Glacier
T
понял, просто нужно будет пометку соответствующею делать в метаданных об этом объекте. что он уехал в Glacier
а где у вас метаданые? у glue тоже есть ретеншен политики позволяющие удалять партиции уехавшие в гласир
A
в RDS for PostgreSQL
A
когда новый файл заливается на S3, создается запись о нем в Postgres. Спарк application затем из Postgres вычитывает инфу и грузит файлы с S3
A
вот судя по всему если объект будет уходить в Glacier, мне нужно будет в Postgres делать соответствующею пометку об этом, что бы потом перед обработкой Спарком какой-то дополнительный процесс сначала такой файл извлек из Glacier назад в S3.
T
вот судя по всему если объект будет уходить в Glacier, мне нужно будет в Postgres делать соответствующею пометку об этом, что бы потом перед обработкой Спарком какой-то дополнительный процесс сначала такой файл извлек из Glacier назад в S3.
А почему его не обработать спарком сразу? что бы он уже в гласир ушел готовым
A
да да, так и есть. Он обрабатывается сразу. Но у нас есть такое понятие как обработка по новой(rerun)
A
например аналитики формулы подкорректировали и просят перегнать весь масив данных по новой
AZ
например аналитики формулы подкорректировали и просят перегнать весь масив данных по новой
пусть аналитики посчитают, как им дешевле - держать все данные в стандарте или IA, или кидать в Glacier и оттуда поднимать, ждать, считать (эт все денег стоит), на то они и аналитики
AZ
в этом и удобство такой системы, можно каждому обновлению формулы противопоставить конкретную стоимость
A
Да, я направление понял куда копать! Спасибо большое!
VK
Всем привет! Вопрос по Data Vault 2.0.
Если в системе источнике у меня есть таблица в которой несколько внешних ключей, то для каждого внешнего ключа создаётся своя таблица связи или они все помещаются в одну таблицу связь?
Если в системе источнике у меня есть таблица в которой несколько внешних ключей, то для каждого внешнего ключа создаётся своя таблица связи или они все помещаются в одну таблицу связь?
ПБ
Типа таблица товар,магазин,поставщик, цена ?
VK
Например, есть таблица с информацией о покупателе, там есть поля по типу город проживания и пол. Они являются справочниками. В таблице покупателя сделаны ФК на эти справочники. В рамках data vault мы бьём это всё на 3 хаба (покупатель, города, пол). А таблиц линков мы создаём 2 или 1?
ПБ
Мне кажется пол это сателит?
ПБ
Хаб это большие бизнес сущности