Size: a a a

2021 October 15

НБ

Наиль Башмаков... in Data Engineers
может капчу какую от ботов сделать?
источник

НБ

Наиль Башмаков... in Data Engineers
вот в канале по эластику есть
источник

d

d.sky in Data Engineers
@combot с таким вполне справляется
источник

d

d.sky in Data Engineers
а ещё если дополнительно к нему докинуть @AntiServiceMessage_Bot - будет чуть меньше флуда от сервисных сообщений (кто присоединился, кто покинул)
источник

ПФ

Паша Финкельштейн... in Data Engineers
Я тут ворвусь и спрошу правда ли вам нужен бигдата тулинг для разовой задачи или можно написать 30 строк на питоне и всё сделать?
источник

ПФ

Паша Финкельштейн... in Data Engineers
У нас всякий aws по полной, вероятно это тоже считается ))
источник

N

Nikita Blagodarnyy in Data Engineers
Я думаю, стоит уточнить, что считается разовой задачей. Сделать первичную загрузку детального слоя тоже разовая задача.
источник

ПФ

Паша Финкельштейн... in Data Engineers
Ну тут вроде очень конкретная штука: кучу xml перегнать в другой формат в другое хранилище
источник

N

Nikita Blagodarnyy in Data Engineers
Очень непохоже на кейс использования тулы ide.
источник

ПФ

Паша Финкельштейн... in Data Engineers
Вообще нет
источник

ПФ

Паша Финкельштейн... in Data Engineers
Я имею в виду что тут даже Спарк не надо. Просто пайтон и Эрроу какой-нибудь
источник

PA

Panchenko Andrey in Data Engineers
Спасибо, я как раз об этом подумал уже. По сути разово. Потом буду ингестать клауд функциями
источник

PA

Panchenko Andrey in Data Engineers
Да да. Просто на чем этот питон код заранать в самой ажуре? Просто ВМКу поднять?
источник

N

Nikita Blagodarnyy in Data Engineers
Найфайчик
источник

ПФ

Паша Финкельштейн... in Data Engineers
Ну я бы на каком-то компьюте сделал или если трафика не жалко то хоть на своём ноуте можно
источник

A

Alex in Data Engineers
на мобильном интернете в роуминге
источник

ПФ

Паша Финкельштейн... in Data Engineers
Ну если трафика не жалко и времени )
источник

A

Attenuator in Data Engineers
Добрый день, может кто нибудь сталкивался с такой ошибкой could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation. Гугл не помог,  запущен докер контейнер cloudera/quickstart.
источник

A

Attenuator in Data Engineers
источник

A

Attenuator in Data Engineers
источник