AZ
Их задача - не проронив на пол переложить из источника в объектный сторадж/ базу данных/ очередь
Size: a a a
2021 April 25
AZ
Оркестрация джобов это другое, слушайте курс дальше)
AZ
Оркестраторов джобов очень много всяких, у меня был клиент который до сих пор пользуется на клауде Control-M (точнее у них мультиклауд и онпрем), и очень счастлив
ЕП
Для несведущих - airflow упаковывает куски bash скриптов, а luigi - выстраивает цепь между тасками, которые задаются как код внутри классов python?
ME
Хм, гугли про луиджи, но уже не помню основные отличия( У аирфлоу тоже питон основной, хотя можно и баш запускать, конечно
ЕП
Prefect выглядит кстати очень интуитивно - вот тебе Task, вот тебе Flow, запускай. Спасибо за рекомендацию!
PA
в гугл облаке есть композер тот же аирфлоу
ME
в AWS даже managed Airflow есть)
PA
ну так в гугле такое же) тоже менеджед
ЕП
Да, спасиб, почитал доки луиджи, правда немного погряз в параметрах и всяких CopyToTable.
ЕП
То есть airflow - более распространенный? )
PA
хм ну он так скажем достаточно распространен, можете посмотерть на вакансии DE во многих он есть.
Тоже пайтон чистый, тоже понятен.
Тоже пайтон чистый, тоже понятен.
ЕП
Спасиб! попробую запилить на prefect, он выглядит самым интуитивным по синтакису, дальше в стороны airflow или luigi
PA
но я бы на вашем месте смотрел на размеры комьюнити, кол-во звезд на гите и на кол-во релизов, ну и конечно на качество документации
PA
к тому же вот вам еще один маркер два гиганта (AWS, Google) облачных услуг сделали этот (Аирфлоу) ресурс селф менеджед.
ME
там ещё узи жив, например)
ME
Хотя он, наверное, ближе к хадупу и всему этому
R
Он завязан на хадупе, а хадуп умирает(-ер), так что не перспективно совсем смотреть в сторону узи. Хотя он оч хорош
AZ
Astronomer ещё делает managed airflow, очень хороший
A
Расскажите почему хадуп умирает, правда интересно