e
Вот сейчас стало не понятно )) в моём мире координат - оркестрация и запускает обработчики по расписанию ? ) Или для этого есть другое определение?)
Size: a a a
2020 December 23
A
У вас же первый вопрос был про объединение исходного кода и оркестрацию
e
У вас же первый вопрос был про объединение исходного кода и оркестрацию
Да. Давайте взглянем на Informatica . Имеем и sql и движок по его выполнению.
A
Можно ещё пентаху вспомнить....
АЖ
кстати, интересно, информатика компилит скалу или просто скриптом фигарит
e
Можно ещё пентаху вспомнить....
Скажите что вызывает такие чувства боли в моем вопросе ? )) Может есть грабли которые не замечаю ? Почему отказываются от такого подхода?
АЖ
от “такого” - это какого?
АЖ
хотите квадратики двигать - ну есть же информатика
АЖ
хотите полный контроль над пайплайном - добро пожаловать в исходный код эйрплова
АЖ
можно хакнуть оператор и билдить жарники в рантайме
АЖ
(я, правда, до сих пор не понимаю, нафига)
e
(я, правда, до сих пор не понимаю, нафига)
Ок
АЖ
хочется все в рантайме - ну можно на писпарке тогда писать
A
Скажите что вызывает такие чувства боли в моем вопросе ? )) Может есть грабли которые не замечаю ? Почему отказываются от такого подхода?
Ну потому что информатика с одной стороны это etl (не работал лично, но то что видел больше всего на него похоже)
А airflow + кастомного говна вагон это более generic решение
С одной стороны и протестировать эти квадратики проще независимо
С другой сама оркестрация это отдельная боль для больших датапайплайнов
Как вспомню как это выглядело в пентахе до сих пор вздрагиваю
А airflow + кастомного говна вагон это более generic решение
С одной стороны и протестировать эти квадратики проще независимо
С другой сама оркестрация это отдельная боль для больших датапайплайнов
Как вспомню как это выглядело в пентахе до сих пор вздрагиваю
A
А уж вопросы версионирования как-то даже подымать не хочется
e
хочется все в рантайме - ну можно на писпарке тогда писать
В AirFlow pySpark лежит прям кодом ?)
АЖ
В AirFlow pySpark лежит прям кодом ?)
пейтон и пейтон
SS
делали так:
- в Nexus публиковали жарники после прохождения всех тестов в рамках CI/CD
- в Airflow использовали LivyBatchOperator, которому передавали через переменную Airflow путь до актуального джарника (Livy уже сам потом вытягивал джарник при запуске джобы)
объединить репу со Scala/Spark-кодом и репу с ДАГами Airflow не успел
- в Nexus публиковали жарники после прохождения всех тестов в рамках CI/CD
- в Airflow использовали LivyBatchOperator, которому передавали через переменную Airflow путь до актуального джарника (Livy уже сам потом вытягивал джарник при запуске джобы)
объединить репу со Scala/Spark-кодом и репу с ДАГами Airflow не успел
SS
Вот сейчас стало не понятно )) в моём мире координат - оркестрация и запускает обработчики по расписанию ? ) Или для этого есть другое определение?)
Ключевое слово было внутри системы, а не по расписанию )