Size: a a a

2019 December 04

DZ

Dmitry Zuev in Data Engineers
Igor
потому что как по мне, так правильно совсем иначе, а именно - конфигмап с зависимостями примонтировать и ничего не собирать
А у вас ещё и кубер
источник

DZ

Dmitry Zuev in Data Engineers
То есть у вас вроде всё есть, но пользоваться тем что дано не хотите
источник

I

Igor in Data Engineers
Dmitry Zuev
То есть у вас вроде всё есть, но пользоваться тем что дано не хотите
вы о чем?
источник

DZ

Dmitry Zuev in Data Engineers
Если у вас кубер с докером, в чем сложность собирать образ со всеми зависимостями и накатывать хелмом из сиай?
источник

I

Igor in Data Engineers
Dmitry Zuev
Если у вас кубер с докером, в чем сложность собирать образ со всеми зависимостями и накатывать хелмом из сиай?
неохота это поддерживать,  так как по факту это обычный stable/spark
источник

I

Igor in Data Engineers
я готов подождать 10 минут при старте, пока ставятся зависимости. Когда станет 20 минут или частые рестарты - соберем образ.
источник

I

Igor in Data Engineers
ну и будем разбираться, почему так
источник

I

Igor in Data Engineers
Просто на вопрос "Куда подложить 1 файлик?" ответ "тебе нужно написать  Dockerfile, сборку и деплой в CI, проверить хельм-чарты и передеплоить всё по-своему" выглядит как дикое переусложнение.
источник

DZ

Dmitry Zuev in Data Engineers
Вопрос был не такой
источник

DZ

Dmitry Zuev in Data Engineers
Всем привет! Извиняюсь за глупый вопрос, но как в Zeppellin устанавливать пакеты? сейчас он у меня даже pyspark не видит
источник

I

Igor in Data Engineers
А можете просто поделиться конфигом? Ну или не мог бы кто-нибудь сказать, куда надо подмонтировать requirements.txt, чтобы при старте контейнера они все поставились?
источник

I

Igor in Data Engineers
Но в ходе обсуждения получилось так
источник

K

KrivdaTheTriewe in Data Engineers
Igor
Просто на вопрос "Куда подложить 1 файлик?" ответ "тебе нужно написать  Dockerfile, сборку и деплой в CI, проверить хельм-чарты и передеплоить всё по-своему" выглядит как дикое переусложнение.
это бест практис и становится рутиной, а вы все пытаетесь антипаттерн использовать
источник

I

Igor in Data Engineers
KrivdaTheTriewe
это бест практис и становится рутиной, а вы все пытаетесь антипаттерн использовать
Хорошо. Предположим, я даже так сделаю. Как и куда надо ставить модули? В цепеллине? на воркерах? На мастере? Везде? Достаточно ли apt-get install && pip3 install -r requirements.txt или там нужны дополнительные манипуляуции? Дайте ссылку на гитхаб, кто делал подобное
источник

I

Igor in Data Engineers
просто чтоб не получилось, что сиай сделан, а оно в принципе не умеет чего-то, что нужно для конечной цели
источник

DZ

Dmitry Zuev in Data Engineers
Igor
Хорошо. Предположим, я даже так сделаю. Как и куда надо ставить модули? В цепеллине? на воркерах? На мастере? Везде? Достаточно ли apt-get install && pip3 install -r requirements.txt или там нужны дополнительные манипуляуции? Дайте ссылку на гитхаб, кто делал подобное
Ну как бы питон зависимости на экзекуторах никто не отменял
источник

DZ

Dmitry Zuev in Data Engineers
Можно венв таскать
источник

DZ

Dmitry Zuev in Data Engineers
Вы на чем запускаете?
источник

DZ

Dmitry Zuev in Data Engineers
Igor
просто чтоб не получилось, что сиай сделан, а оно в принципе не умеет чего-то, что нужно для конечной цели
Хуже не будет
источник

I

Igor in Data Engineers
Dmitry Zuev
Ну как бы питон зависимости на экзекуторах никто не отменял
ну я поставил на воркеры и на цепеллин. не заработало
источник