В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 October 22

A

Artem in Data Engineers
Alexander
А что рассказывать. По мне, единственный плюс узи - это выполнение всех тасков в ярне. В airflow так нельзя, к сожалению. Ну или много нужно писать самим, чтобы была такая возможность
А в чём проблемы с oozie, вас xml смущает? Что такого есть в airflow, что переезжать решили?
источник
09:01пожаловаться#1

A

Artem in Data Engineers
Мы кстати наоборот, с самописного велосипеда на питоне на oozie переезжаем
источник
09:02пожаловаться#2

GP

Grigory Pomadchin in Data Engineers
Artem
А в чём проблемы с oozie, вас xml смущает? Что такого есть в airflow, что переезжать решили?
Даги нормальные на эирфлоу делать можно
источник
09:04пожаловаться#3

A

Alexander in Data Engineers
Artem
А в чём проблемы с oozie, вас xml смущает? Что такого есть в airflow, что переезжать решили?
Не решили. Я делаю PoC, так как на прошлой работе как раз Airflow был и мне он больше по душе. Oozie да: xml, сложность построения более-менее нетривиальных последовательностей задач, необходимость многое выполнять в баше
источник
09:05пожаловаться#4

A

Alexander in Data Engineers
Alexander
Не решили. Я делаю PoC, так как на прошлой работе как раз Airflow был и мне он больше по душе. Oozie да: xml, сложность построения более-менее нетривиальных последовательностей задач, необходимость многое выполнять в баше
Сложность тестирования ещё добавлю
источник
09:08пожаловаться#5

A

Artem in Data Engineers
Alexander
Не решили. Я делаю PoC, так как на прошлой работе как раз Airflow был и мне он больше по душе. Oozie да: xml, сложность построения более-менее нетривиальных последовательностей задач, необходимость многое выполнять в баше
Понял, спасибо, мы у себя планируем scala dsl для конфигов использовать, это часть проблем снимет
источник
09:11пожаловаться#6

RI

Rustam Iksanov in Data Engineers
А как на счет hue для настройки oozie?
источник
09:11пожаловаться#7

A

Artem in Data Engineers
Alexander
Сложность тестирования ещё добавлю
Да, но такие штуки интеграционными тестами проверять нужно
источник
09:11пожаловаться#8

A

Artem in Data Engineers
Rustam Iksanov
А как на счет hue для настройки oozie?
Не оч люблю ui и pipeline лучше в git хранить
источник
09:13пожаловаться#9

A

Alexander in Data Engineers
Для тестирования своего пайплайна в airflow мне надо накидать его в питоне, положить в специальную папочку, и я уже вижу нарисованный граф со всей логикой, ничего не запуская. В oozie этот процесс сложнее
источник
09:20пожаловаться#10

S

Stanislav in Data Engineers
Alexander
Для тестирования своего пайплайна в airflow мне надо накидать его в питоне, положить в специальную папочку, и я уже вижу нарисованный граф со всей логикой, ничего не запуская. В oozie этот процесс сложнее
это какая-то сильно меньшая проблема эйрфлоу и всех остальных шедулеров
источник
09:25пожаловаться#11

S

Stanislav in Data Engineers
не говоря о том, что на развесистом пайплайне твой граф будет нечитаем в гуе
источник
09:26пожаловаться#12

A

Alexander in Data Engineers
Stanislav
не говоря о том, что на развесистом пайплайне твой граф будет нечитаем в гуе
Он нигде не будет читаем
источник
09:26пожаловаться#13

A

Alexander in Data Engineers
Stanislav
не говоря о том, что на развесистом пайплайне твой граф будет нечитаем в гуе
Для этого, кстати, сабдаги  и придуманы
источник
09:29пожаловаться#14

VS

Vladislav 👻 Shishkov in Data Engineers
Alexander
Для тестирования своего пайплайна в airflow мне надо накидать его в питоне, положить в специальную папочку, и я уже вижу нарисованный граф со всей логикой, ничего не запуская. В oozie этот процесс сложнее
Ну вообще-то запуская, инициализацию никто не отменял
источник
10:31пожаловаться#15

AZ

Anton Zadorozhniy in Data Engineers
Дизайн у узи намного лучше, но и зависимости тяжелы, в облаке с транзиент кластерами неудобно.. эйрфлоу ещё хуже правда, исключение только гугл, где все готовое
источник
10:47пожаловаться#16

R

Roman in Data Engineers
Anton Zadorozhniy
Дизайн у узи намного лучше, но и зависимости тяжелы, в облаке с транзиент кластерами неудобно.. эйрфлоу ещё хуже правда, исключение только гугл, где все готовое
Жиза, когда перевозил emr с 5.4 на 5.25 немного страдал из-за oozie зависимостей.
источник
10:56пожаловаться#17

R

Roman in Data Engineers
На счёт тестирования oozie - очень легко тестировать структуру workflow. Что корректно  он описан и все переходы корректны. Я прям юнит тестом это сделал и при сборке всегда прогоняю.
источник
10:57пожаловаться#18

AZ

Anton Zadorozhniy in Data Engineers
Правильно не писать XML вручную, а накидать DSL вокруг него
источник
10:58пожаловаться#19

MB

Mikhail Butalin in Data Engineers
Вопрос по работе TTL HBASE.
источник
12:38пожаловаться#20