A
Size: a a a
2019 November 19
АЖ
Лезь в аликлауд :) там ui квадратики двигай
GP
Пора свой флинк делать
A
@pomadchin так что парни работают, но ml часто это батч итерации поэтому на спарк проще ложатся
A
зачем свой?
OP
А ну и самое крутое у флинка то что через апи можно и загрузить jar и запустить
АЖ
@pomadchin так что парни работают, но ml часто это батч итерации поэтому на спарк проще ложатся
разное бывает
когда я придумаю, на какой конфе или митапе про наш рилтайм рассказать (кафка ли, спарк ли или просто пейтон), обязательно кого-нибудь пошлю доложить
когда я придумаю, на какой конфе или митапе про наш рилтайм рассказать (кафка ли, спарк ли или просто пейтон), обязательно кого-нибудь пошлю доложить
GP
А ну и самое крутое у флинка то что через апи можно и загрузить jar и запустить
да эт можно везде
OP
Ну и как в спарке такое сделать лол
GP
@pomadchin так что парни работают, но ml часто это батч итерации поэтому на спарк проще ложатся
Не знаю, я не пробовал так что не знаю какого оно там
OP
Чтоб у тебя на удаленной машине все собиралось, тестировалось ,а потом собранный джарник на Спарк попал и там запустился
DM
Пора свой флинк делать
на волге
GP
Чтоб у тебя на удаленной машине все собиралось, тестировалось ,а потом собранный джарник на Спарк попал и там запустился
что значит на Спарк попал? тебе вообще не обязательно Спарк сабмитом стартовать джобы
OP
Таак а куда гуглить
GP
Таак а куда гуглить
ну посмотри как спарк контекст создаешь; ты там адрес мастера менеджера ресурсов суешь;
GP
а хочешь дополнительные джарки и файлы в контекст покидать - есть addJar / addFile - малоли какая у тебя дистрибьюция задачки
GP
в случае если ты контекст создаешь и в конфигах указываешь на менеджер ресурсов уже запущенный - то у тебя твое приожение будет драйвером; а таски оно запускать будет на кластере который ты указал в конфиге
DZ
на волге
Особенно удобно для саентологов
DM
саентологам должно быть ортогонально, оно же как sql декларативное
OP
в случае если ты контекст создаешь и в конфигах указываешь на менеджер ресурсов уже запущенный - то у тебя твое приожение будет драйвером; а таски оно запускать будет на кластере который ты указал в конфиге
спасибо огромное)