I
Хуже не будет
да как бы и лучше не будет. Что толку от сиай, если нет рабочего продукта
Size: a a a
2019 December 04
DZ
Гроб гроб кладбище continuous delivery
DZ
ну я поставил на воркеры и на цепеллин. не заработало
На чем запускаете?
I
На чем запускаете?
на кубере
DZ
Spark on k8s?
DZ
Оператор или сабмит?
DZ
Хорошее начало, я бы сделал кастомные образы с зависимостями и накатил этот чарт
DZ
Master.Image, Worker.Image
DZ
Пропишите свой
I
так. теперь я везде руками пока поставил pyspark. Zeppelin тем не менее его не видит.
DZ
Что пишет?
I
что его нет
I
Traceback (most recent call last):
File "/tmp/zeppelin_python-7220983357319929654.py", line 283, in <module>
raise Exception(traceback.format_exc())
Exception: Traceback (most recent call last):
File "/tmp/zeppelin_python-7220983357319929654.py", line 276, in <module>
exec(code, _zcUserQueryNameSpace)
File "<stdin>", line 1, in <module>
ImportError: No module named pyspark
DZ
Ну на нет и суда нет
I
я до сих пор не получил ответа, как ставить пакеты в цеппелин.
DZ
С такими предъявами неудивительно
I
С такими предъявами неудивительно
а к кому были предъявы?
N
Граждане, подскажите, у кого есть опыт визуализации кастомных дагов? Интересуют программные средства и опыт эксплуатации.
Юзкейс. У меня есть некоторая метаинформация о шагах джоба, из каких степов он состоит, как они называются, где они ветвятся, сливаются, принимают решения по какой ветке пойти. Я хочу, чтобы нечто считало ее и на веб странице нарисовался даг, визуализирующий мой джоб. Типа как в TezUI или AirFlow webui.
Информатику/визио не предлагать.
Юзкейс. У меня есть некоторая метаинформация о шагах джоба, из каких степов он состоит, как они называются, где они ветвятся, сливаются, принимают решения по какой ветке пойти. Я хочу, чтобы нечто считало ее и на веб странице нарисовался даг, визуализирующий мой джоб. Типа как в TezUI или AirFlow webui.
Информатику/визио не предлагать.
N
Пока только графвиз выгуглился.