DZ
Можно выбрать Impala ?
А ты умеешь?
Size: a a a
2019 December 06
ЕГ
Плюс сюда же вписывается желание упростить встраивание применения стандартных (и не очень) мл моделей в пайплайн обработки данных на спарке
ЕГ
Поэтому питон)
DZ
Евгений Глотов
Конкретно для нас важно обеспечить возможность одновременной интерактивной работы с хранилищем на кластере более ста человек, а также как минимум частичное переиспользование результатов этой самой интерактивной работы)
При чем здесь код?
Пусть пользователи на чем умееют пишут, складывают результаты, переиспользуют
Пусть пользователи на чем умееют пишут, складывают результаты, переиспользуют
DZ
Евгений Глотов
Плюс сюда же вписывается желание упростить встраивание применения стандартных (и не очень) мл моделей в пайплайн обработки данных на спарке
Никто не мешает все остальное делать не на змее.
А модели вовсе сервисами держать
А модели вовсе сервисами держать
ЕГ
При чем здесь код?
Пусть пользователи на чем умееют пишут, складывают результаты, переиспользуют
Пусть пользователи на чем умееют пишут, складывают результаты, переиспользуют
А как это выкатывать на регламент? Переписывать всё на скалу?
ЕГ
А если сайнтист сам хочет на регламент поставить, потому что у него сроки сжатые, и он знает эйрфлоу)
ЕГ
А, и в эйрфлоу-то надо на питоне писать, вот ужас)
DZ
Я не говорю про такие вещи как airflow
ЕГ
Короче, скала ради скалы или какого-то мифического преимущества в отказоустойчивости или поддержке - это вообще некруто, имхо
DZ
Тут как бы без особой разницы.
Когда мы рассуждали пол питон, то говорили в контексте спарка. И что есть альтернативы
Когда мы рассуждали пол питон, то говорили в контексте спарка. И что есть альтернативы
DZ
Евгений Глотов
Короче, скала ради скалы или какого-то мифического преимущества в отказоустойчивости или поддержке - это вообще некруто, имхо
Лол, мощное заявление
ЕГ
Новых инженеров не найдёшь, сайнтистам готовый кусок кода не передашь
ЕГ
Проблем больше, чем решений
В
Евгений Глотов
Новых инженеров не найдёшь, сайнтистам готовый кусок кода не передашь
Ну погоди. Всему свое место. Отказываться от скалы тупо потому что инженеров не найдешь-бред
В
Спрос рождает предложение
DZ
Евгений Глотов
Короче, скала ради скалы или какого-то мифического преимущества в отказоустойчивости или поддержке - это вообще некруто, имхо
А это какие-то мысли человека который про скалу даже не читал
ЕГ
А это какие-то мысли человека который про скалу даже не читал
Я сначала прогал на спарке на джаве, потом на скале, а только потом на питоне
DZ
И причем тут отказоустойчивость?
В
Эх