Попробуй прокидывать его при запуске

Пробовал, через --conf. В getConf.get("...") я его вижу, но кол-во отображаемой информации не меняется

Коллеги, всем привет. Кто-нибудь запускал spark 3.0.1 на python под windows?
Беру пример от разработчиков и получаю вот такую ошибку:
py4j.protocol.Py4JJavaError: An error occurred while calling o30.json.
: java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.JsonMappingException.<init>(Ljava/io/Closeable;Ljava/lang/String;)V

Как я понимаю, где-то указаны разные версии данного jar, но не могу понять, как найти, в каких местах...

Начать стоит с SPARK_HOME/jars

Я думал, может проблема в pyspark установленном через pip, но там посмотрел, версия jar совпадает с той, которая в SPARK_HOME/jars

ПАша привет, был как то у тебя на собесе👍

Привет)

привет всем,
кто чем пользовался для профайлинга спарк/mr приложений?
ищу на что еще посмотреть на подобие простого опенсорсного criteo:babar или более монструозного и дорогого clouderaXM

Проблема была в том, что в SPARK_HOME/jars поместил джарник для ClickHouse у которого была другая версия в зависимостях. Поэтому всё сыпалось

эмм, получается не один джарник

После удаления этого одного джарника всё заработало

что за джарник то?

Там версия com.fasterxml.jackson.core » jackson-databind 2.7.3 а у спарка 2.10.0

а никто не сталкивался с тем, что intellij idea ужасно зависает при попытке дебага в scalatest?
мб кто-то пробовал idea и сейчас на другой ide, поделитесь плиз мнением

лучше в скала группу

@zuynew а что имеешь ввиду под скала группой?

а нужна какая? 2.7?

Ты ж джарку ch добавил а не джарку jackson