ЕП
Поэтому интересно мнение профессионалов
Size: a a a
2021 April 09
N
Мы тут все не очень датаинженеры, но картинка какая-то очень однобокая и очень выборочная, с упором на клауды, и то на все. Где mpp решения? Где самая лучшая в мире база? Где тот же спрак? Где NiFi?
ЕП
Ну а lake это какая-то особая организация данных? Или прсто хранение? Или это просто маркетнговый термин?
ЕП
Да базы они как-то задвинули целиком
ПФ
Great expectations имхо в последнюю очередь инструмент мониторинга, честно говоря
DN
это вы про клекхаус?
e
Непонятна цель. Если нужно что то выбрать для толстого кошелька , то нужен Gartner. А так без имени *гуру* это просто картинка
N
Нет, конечно. Терадата же.
СХ
😐а какой есть формат для hive, spark который бы больше жался чем orc?
СХ
мож что новое придумали помимо orc avro parquet
e
Ну придумали в сторону поддержки транзакционности.
R
Год назад активно копал эту тему - ничего распространённого не нашёл.
Остаётся толкьл ковыряться с настройками writerа на спарке/хайве и полями сортировки. Мне в свое время это дало прирост в сжатии в более чем полтора раза. Но, конечно, это не бесплатно.
Остаётся толкьл ковыряться с настройками writerа на спарке/хайве и полями сортировки. Мне в свое время это дало прирост в сжатии в более чем полтора раза. Но, конечно, это не бесплатно.
AA
У них есть разная компрессия, плюс очень помогает сортировка по нужным полям. Можно иногда в два раза ужать.
AZ
два чая этому господину
ЕП
Ну да, без адресата непонятно что рассказать на картинке, этой или другой
AZ
ну и вообще, облачная экосистема данных без логотипа датабрикс, в 2021? это просто гуглением по ключевым словам делали?
s
И пиво от меня
ME
Вот мне больше нравится)
AZ
никакого архитектурного смысла в этих картинках конечно нет, они нужны только для консалтеров, вендоров и фондов чтобы показать с кем они дружат