SS
да, наверное ты прав. проще всего сваливать в карантин
Size: a a a
2020 August 12
SS
а гобблин из коробки такое умеет?
S
Да, но он пришпилен к авро вроде со всех сторон
Проще написать свой аналог
Проще написать свой аналог
2020 August 13
A
Привет! А данные из AWS Glacier можно получать в Спарке на AWS EMR без каких-то ручных дополнительных шагов по их выкачиванию сначала на S3?
T
Если мне не изменяет память то нет
AZ
Привет! А данные из AWS Glacier можно получать в Спарке на AWS EMR без каких-то ручных дополнительных шагов по их выкачиванию сначала на S3?
надо сначала восстановить (может занимать продолжительное время, в зависимости от метода рекавери, 3-5 или 5-12 часов)
A
восстановить имеется ввиду к примеру в S3?
AZ
не к примеру, а только в S3
A
понял, спасибо!
AZ
там есть три retrieval режима, стандартный, балк и ускоренный, у каждого свои показатели
A
понял. по деньгам там значительно дешевле получается держать файлы чем в S3? Есть смысл заморачиваться?
AZ
если у вас подходящий формат можно попробовать S3 Glacier Select, это запросы к данным без стейджинга в S3
AZ
все зависит от того сколько данных, как часто обращаетесь (если вообще обращаетесь)
AZ
например я для личных данных держу там второй оффсайт бэкап, и восстанавливать оттуда буду если совсем-совсем все плохо, тогда я готов любые деньги заплатить буду
A
данных где-то 1ТБ пока, обращаемся к ним не очень часто.. раз в месяц к примеру
AZ
1PB?
AZ
1TB это 30 баксов, сколько вы хотите сэкономить
A
это пристрелка на будущее, это в дев режиме у нас 1TB
A
я к своему стыду, только вчера про Glacier узнал