ЕГ
А чё так?
Size: a a a
2021 October 17
VS
А ты им попробуй попользоваться
VS
Никита в статье не написал про атлас, но у нас он был из коробки hdp и мы сначало туда пытались влезть, в целом все печально
VS
Поэтому стали смотреть альтернативы
ЕГ
Я видел работающий атлас и его интеграцию с ырфлоу, воспользоваться к сожалению так и не успел)
VS
Интеграция - это не проблема в целом
VS
Важнее как будут пользоваться каталогом
ЕГ
Так это архитектурный вопрос, надо прорабатывать плотно
VS
Конечно если цель, просто напомнить de где что, то он сойдет, но дата каталог используется не для айти, а для бизнеса скорее
VS
У атласа были жесткие ограничения что можно пульнуть в него. В hdp версия не свежая и в более поздних было лучше, но все равно, слишком много ограничений. Запихнуть туда хадуп и airflow не проблема, но дата каталог не только про это, нужно видеть всю цепочку от поля на источнике до отчета/дашборда в bi
AK
А на чем сейчас оркестрации строится?
AK
Год назад искали оркестратор под свой стек задач, на рынке так и не нашли нормальный который бы удовлетворял нашим требованиям, и мог нормально перегружать исторические даннве
NN
А с эйрфлоу что не так?
DA
Airflow
A
Добрый день, может кто нибудь поделиться свежим docker дистрибутивом Hadoop, hive .... Буду благодарен
AK
Аирфлоу не тянет наш граф с 100500 джобами, ну и как из аирфлоу выдрать часть графа и прогрузить его? В циклей начиная с определенной даты
GP
а что вы в итоге используете?
AK
На рынке нет решен й под нас, нашли то что подходит более-менее , что можно дополнить - тайдл
GP
жесть
AK
А как вы поогружаете исторические даты ? И сколько у вас тасков в dag максимум?