Size: a a a

2019 October 18

M

Mironiken in Data Engineers
Москвский технический? Кек
источник

GP

Grigory Pomadchin in Data Engineers
Nikita Blagodarnyy
MIT может?
да даж в мифяге было
источник

GP

Grigory Pomadchin in Data Engineers
источник

A

Alex in Data Engineers
Nikita Blagodarnyy
Спасибо, все получилось. Теперь валится по другой причине, но классы слава богу все нашел
Если не секрет: а зачем бут в вашем случае нужен? Или вы пытаетесь рест сервис предоставить который под капотом магию творит?
источник

N

Nikita Blagodarnyy in Data Engineers
Да нет никакой магии. Сделал по чертежу, вот как дядя вещает
источник

N

Nikita Blagodarnyy in Data Engineers
источник

N

Nikita Blagodarnyy in Data Engineers
Есть задача запилить етл, снимать инкременты с феникса/хбейс и заливать их в ClickHouse
источник

N

Nikita Blagodarnyy in Data Engineers
Прототип сделали на файлобашекроне
источник

N

Nikita Blagodarnyy in Data Engineers
Но это так себе решение. Я поискал и выбрал спринг батч, там тебе и даги, и фловы, и дочерние джобы, и повтор упавшего, и логирование/мониторинг, и обработка пачками, и интерфейсы ко всему и вообще много плюшек встроено.
источник

A

Alex in Data Engineers
Ну его то я видел, только не как бут приложение :)
источник

N

Nikita Blagodarnyy in Data Engineers
Такой airflow, только предсказуемее и стабильнее.
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
Такой airflow, только предсказуемее и стабильнее.
Ну эирфлоу достаточно стабилен
источник

K

KrivdaTheTriewe in Data Engineers
Теперь
источник

N

Nikita Blagodarnyy in Data Engineers
Ну а так как я не то, чтобы большой специалист по спринг фреймворку, сделал по образцу.
источник

A

Alex in Data Engineers
Понятно, но вообще такие jar которые должны быть в батче учавствовать мы на hdfs закидываем и потом апе говорим откуда что брать для локализации
источник

A

Alex in Data Engineers
Так делал и запуск апп мастеров для jupyter kernels  в хадупе

Так же и закидываем все нужные вещи для спарка

Потом главное собрать корректный path под все это, но меньше геморроя чем то как все эти тулы пытаются сами себя закинуть в джоб
источник

AP

Abi Palagashvili in Data Engineers
Ребят,кто работал с ALS-ом в спарке,подскажите,можно ли вытянуть для обученной модели латентные факторы?
источник
2019 October 19

C

Combot in Data Engineers
moses Okere has been banned! Reason: CAS ban.
источник

C

Combot in Data Engineers
Miriam omoha has been banned! Reason: CAS ban.
источник

C

Combot in Data Engineers
Kira usman has been banned! Reason: CAS ban.
источник