DZ
потому что как по мне, так правильно совсем иначе, а именно - конфигмап с зависимостями примонтировать и ничего не собирать
А у вас ещё и кубер
Size: a a a
2019 December 04
DZ
То есть у вас вроде всё есть, но пользоваться тем что дано не хотите
I
То есть у вас вроде всё есть, но пользоваться тем что дано не хотите
вы о чем?
DZ
Если у вас кубер с докером, в чем сложность собирать образ со всеми зависимостями и накатывать хелмом из сиай?
I
Если у вас кубер с докером, в чем сложность собирать образ со всеми зависимостями и накатывать хелмом из сиай?
неохота это поддерживать, так как по факту это обычный stable/spark
I
я готов подождать 10 минут при старте, пока ставятся зависимости. Когда станет 20 минут или частые рестарты - соберем образ.
I
ну и будем разбираться, почему так
I
Просто на вопрос "Куда подложить 1 файлик?" ответ "тебе нужно написать Dockerfile, сборку и деплой в CI, проверить хельм-чарты и передеплоить всё по-своему" выглядит как дикое переусложнение.
DZ
Вопрос был не такой
DZ
Всем привет! Извиняюсь за глупый вопрос, но как в Zeppellin устанавливать пакеты? сейчас он у меня даже pyspark не видит
I
А можете просто поделиться конфигом? Ну или не мог бы кто-нибудь сказать, куда надо подмонтировать requirements.txt, чтобы при старте контейнера они все поставились?
I
Но в ходе обсуждения получилось так
K
Просто на вопрос "Куда подложить 1 файлик?" ответ "тебе нужно написать Dockerfile, сборку и деплой в CI, проверить хельм-чарты и передеплоить всё по-своему" выглядит как дикое переусложнение.
это бест практис и становится рутиной, а вы все пытаетесь антипаттерн использовать
I
это бест практис и становится рутиной, а вы все пытаетесь антипаттерн использовать
Хорошо. Предположим, я даже так сделаю. Как и куда надо ставить модули? В цепеллине? на воркерах? На мастере? Везде? Достаточно ли
apt-get install && pip3 install -r requirements.txt или там нужны дополнительные манипуляуции? Дайте ссылку на гитхаб, кто делал подобноеI
просто чтоб не получилось, что сиай сделан, а оно в принципе не умеет чего-то, что нужно для конечной цели
DZ
Хорошо. Предположим, я даже так сделаю. Как и куда надо ставить модули? В цепеллине? на воркерах? На мастере? Везде? Достаточно ли
apt-get install && pip3 install -r requirements.txt или там нужны дополнительные манипуляуции? Дайте ссылку на гитхаб, кто делал подобноеНу как бы питон зависимости на экзекуторах никто не отменял
DZ
Можно венв таскать
DZ
Вы на чем запускаете?
DZ
просто чтоб не получилось, что сиай сделан, а оно в принципе не умеет чего-то, что нужно для конечной цели
Хуже не будет
I
Ну как бы питон зависимости на экзекуторах никто не отменял
ну я поставил на воркеры и на цепеллин. не заработало