Код программы

Вот очередной результат:

19/12/04 07:53:41 ERROR yarn.Client: Application diagnostics message: Max number of executor failures (3) reached
Exception in thread "main" org.apache.spark.SparkException: Application application_1575369361722_0009 finished with failed status

А если конкретнее, то:

AM Container for appattempt_1575369361722_0009_000001 exited with exitCode: 11
Failing this attempt.Diagnostics: Exception from container-launch.
Container id: container_1575369361722_0009_01_000001
Exit code: 11
Stack trace: ExitCodeException exitCode=11:

Может на hdfs положить результат проще будет?

Кладу на HDFS как раз. Там даже папочка появляется

Всем привет! Извиняюсь за глупый вопрос, но как в Zeppellin устанавливать пакеты? сейчас он у меня даже pyspark не видит

На сайте проекта есть прям хороший туториал

у меня цеппелин в докере развернут. Там про такое есть?

А какая разница?

А в чем разница?

идемпотентность при перезапуске контейнера - всё, что было установлено во время работы руками, сотрется при перезапуске. Или там питоновские модули из директории монтируются?

Ой вей

Мы тут не умственноотсталые

Делай через сборку очевидно

что значит не видит? пакет установлен, но не работает?
можно потыкать configuration в вебинтерфейсе

порестартить интерпретатор

под каждое требование образ пересобирать?

А в чем проблема?

Ну положи конфиг какой-нибудь, если в докерфайл неохота пускать

в том, что это делать кому-то надо. причем, этот кто-то обычно админ, который не хочет, чтоб его лишний раз дергали для установки 1 нового пакета. Если он нужен разрабам, то им же и нужен инструмент их установки. Как устоится набор пакетов, тогда может и запихну это в докерфайл

Ну не делайте