N
укажи как снепшот
спасибо, вроде помогло. теперь что-то другое не может найти, но не эти артифакты.
Size: a a a
2020 July 31
A
Может это не меймен резолвит а что-то в кеша осталось?
Так как он тоже не будет для версии снепшот тянуть если не указано
Так как он тоже не будет для версии снепшот тянуть если не указано
A
Привет! А поделитесь плиз информацией какой объем данных и за какой период времени вы своими Спарк джобами обрабатываете
AG
Привет! А поделитесь плиз информацией какой объем данных и за какой период времени вы своими Спарк джобами обрабатываете
По разному, где то терабайт за час где то 500 гигабайт за 15 минут
A
а данные откуда грузятся ?
A
тут у всех по разному, но в основном логи/метрики
AG
а данные откуда грузятся ?
В основном S3, провайдеры разные, инфа разная, атрибуция, кликстрим
A
у вас EMR кластер ?
AG
Databricks
A
понял, спасибо
T
Привет! А поделитесь плиз информацией какой объем данных и за какой период времени вы своими Спарк джобами обрабатываете
у меня, не много данных, суммарно порядка 50 - 60 тб дневых логов. Прокручивается все ночью, за примерно часа 4
A
а на каком кластере?
T
а на каком кластере?
emr, разные много разных кластеров, а конфигирирутся автоматически в зависимости от размера входных данных
A
вот что б упомянутые 60 тб проработать, до скольких нод скейлится у вас EMR кластер и каких именно типов нод?
A
это почти что сферический конь в вакууме =)
кому-то просто отфильтровать и в паркеты переложить
у кого-то cpu bound и построить тепловые карты как у @workales
кому-то просто отфильтровать и в паркеты переложить
у кого-то cpu bound и построить тепловые карты как у @workales
N
Может это не меймен резолвит а что-то в кеша осталось?
Так как он тоже не будет для версии снепшот тянуть если не указано
Так как он тоже не будет для версии снепшот тянуть если не указано
не, в кэше точно не было. я отлаживался в шелле с --jars и потом начал собирать в приложение.
T
вот что б упомянутые 60 тб проработать, до скольких нод скейлится у вас EMR кластер и каких именно типов нод?
там 60 это в сумме, а не на одном кластере, типы разные взависимости от задачи, во восновном r5.8 и выше, гдето есть с5
T
A
там 60 это в сумме, а не на одном кластере, типы разные взависимости от задачи, во восновном r5.8 и выше, гдето есть с5
понял, спасибо!
T
понял, спасибо!
причем там местами, presto в место спарка, наследие импалы