AE
а не jedem ли das seine? сатанистам — питон, иженеграм — жаба/скала
Size: a a a
2019 December 06
В
Категоричность в субъективных суждениях у инженеров это больно
DZ
а не jedem ли das seine? сатанистам — питон, иженеграм — жаба/скала
Так это уже было озвучено
R
а не jedem ли das seine? сатанистам — питон, иженеграм — жаба/скала
а потом модельки питонистов на scala натягивать больно будет
DZ
а потом модельки питонистов на scala натягивать больно будет
А не надо. Делай сервис
DZ
Или pmml для любителей
R
А не надо. Делай сервис
допустим тебе надо прокрутить 18ТБ транзакций - http rest / pmml просто умрут (или масштабирование дорого будет)
AE
а потом модельки питонистов на scala натягивать больно будет
ну, мне норм. или модельки не сильно сложные...
R
вообще есть очень прикольные штуки для Scala + ML, например https://transmogrif.ai/
DZ
допустим тебе надо прокрутить 18ТБ транзакций - http rest / pmml просто умрут (или масштабирование дорого будет)
При чем тут хттп? Kafka
R
Другой вопрос что обычных DS не загонишь писать на Scala, потому что неудобно и все такое
AE
вообще, я как-то не верю, что количество этих моделек прям зашкаливает. однотипные рано или поздно набираются в библиотеку, из которой уже можно собирать data flow
DZ
Евгений Глотов
Новых инженеров не найдёшь, сайнтистам готовый кусок кода не передашь
Что касаемо поддержки кода, то скала уж точно выигрывает за счёт компиляции минимум
AE
а с готовыми кусками на скале сатанист уже справится
ЕГ
И причем тут отказоустойчивость?
Да, действительно, не тот термин выбрал
R
При чем тут хттп? Kafka
ну вот у тебя есть модель на 60 млрд транзакций + 2к фичей по каждой из них, если ты отправишь даже в пожатом виде 60 млрд записей в кафка-сервис с питоновской моделью, это не будет так же быстро как заброадкастить модель и применить ее через спарк
DZ
ну вот у тебя есть модель на 60 млрд транзакций + 2к фичей по каждой из них, если ты отправишь даже в пожатом виде 60 млрд записей в кафка-сервис с питоновской моделью, это не будет так же быстро как заброадкастить модель и применить ее через спарк
Тудой сюдой
ЕГ
Что касаемо поддержки кода, то скала уж точно выигрывает за счёт компиляции минимум
Компиляция спарк-эскуэль кода, к сожалению, не очень сильно помогает избежать в нём ошибок на этапе выполнения)
ЕГ
ну вот у тебя есть модель на 60 млрд транзакций + 2к фичей по каждой из них, если ты отправишь даже в пожатом виде 60 млрд записей в кафка-сервис с питоновской моделью, это не будет так же быстро как заброадкастить модель и применить ее через спарк
DZ
Если это питон модель то все равно через arrow пойдет