K
Ну то есть можно сделать полноценный запуск кода условно в пайчарме
Size: a a a
2020 August 29
K
Главное не забыть все в докер засунуть
AZ
А чем объективно он лучше?
Там даг и там даг,
Там можно кастомные экшены писать и там.
Я немного тыкал эирфлоу, не увидел каких - то киллер фич по сравнению с узи, но может я что - то упустил.
Там даг и там даг,
Там можно кастомные экшены писать и там.
Я немного тыкал эирфлоу, не увидел каких - то киллер фич по сравнению с узи, но может я что - то упустил.
Они разные, зависит от вашей ситуации: если вы на гугле то конечно проще пользоваться клауд компоузером, но если у вас персистентные хадуп кластера и все стабильно , то порог входа в эйрфлоу будет довольно большим - он не умеет использовать хадупный компьют и сторадж, придётся переделать CD и так дальше
K
Они разные, зависит от вашей ситуации: если вы на гугле то конечно проще пользоваться клауд компоузером, но если у вас персистентные хадуп кластера и все стабильно , то порог входа в эйрфлоу будет довольно большим - он не умеет использовать хадупный компьют и сторадж, придётся переделать CD и так дальше
А ози что, сильно умеет в случае если условный докер контейнер поднять ?
AZ
А ози что, сильно умеет в случае если условный докер контейнер поднять ?
Я не понял вопроса
K
Я не понял вопроса
Я к тому , что из хадуповосвого компьюта ози умеет то :)
AZ
Я к тому , что из хадуповосвого компьюта ози умеет то :)
YARN умеет, ему не нужно экзекьюторы скейлить через Celery или кубер
A
А ози что, сильно умеет в случае если условный докер контейнер поднять ?
Норм узи в контейнеры умеет :) умеет ярн, а для узи лишь проставить параметр окружения, вся локализация ресурсов и даже керберос взлетают
A
Гоняем питон в докер контейнерах на хадупе, через узи скедулим
K
Гоняем питон в докер контейнерах на хадупе, через узи скедулим
И xml пишите ?
A
Причём без проблем ты можешь держать контейнер базовый один, а на сабмите джобы только закинуть на hdfs ресурсы для выполнения
Ози их на старте все локализует, в бутстрап скрипте лишь запуститься остается
Ози их на старте все локализует, в бутстрап скрипте лишь запуститься остается
K
А тесты на даги?
A
Дагов нету на данный момент сложных, что нужно или через хью или если список разных контейнеров, то там уже чуть сложнее
A
А просто скрипт или нотебук заскедулить в разы проще на нем
A
Используем ещё databand.ai для дагов в данный момент, но не полностью закончили интеграцию
AZ
И хранение артефактов в HDFS, и логирование с метриками общее для всего, сплошные удобства
AZ
Ну и даги можно на любом языке писать, благо типизированный XML легко порождать откуда угодно
A
Начинали они как обвязка над эирфлоу, но в части описания задач и тд нравится на порядок больше
A
И сохранение логов/выводов промежуточных и тд
A
Единственное что допилили свой апмастер и дописали интеграцию с ними