В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2093 membersпожаловаться на группу
2020 December 08

GP

Grigory Pomadchin in Data Engineers
Serg D.
Вечер добрый. Коллеги, помогите 😞
ERROR: org.json4s.jackson.JsonMethods$.parse(Lorg/json4s/JsonInput;ZZ)Lorg/json4s/JsonAST$JValue; при попытке записать в hdfs паркет файл.
Понимаю что попал в classpath hell, но пока не пойму какая конкретно либа несовместима
Есть где-то таблицы совместимости библиотек?
У меня spark 2.4.7?, scala 2.11.12, сейчас грешу на shc-core версии 1.1.0.3.1.6.7-4
json4s у тебя очевидно какойто не тот
источник
19:13пожаловаться#1

AE

Alexey Evdokimov in Data Engineers
Serg D.
Вечер добрый. Коллеги, помогите 😞
ERROR: org.json4s.jackson.JsonMethods$.parse(Lorg/json4s/JsonInput;ZZ)Lorg/json4s/JsonAST$JValue; при попытке записать в hdfs паркет файл.
Понимаю что попал в classpath hell, но пока не пойму какая конкретно либа несовместима
Есть где-то таблицы совместимости библиотек?
У меня spark 2.4.7?, scala 2.11.12, сейчас грешу на shc-core версии 1.1.0.3.1.6.7-4
mvn dependency:tree -Dverbose
источник
19:13пожаловаться#2

SD

Serg D. in Data Engineers
Вернее понимаю что slf4j-api, но она идет транзитивной зависимостью и неясно какая версия будет корректна
источник
19:13пожаловаться#3

GP

Grigory Pomadchin in Data Engineers
Serg D.
Вернее понимаю что slf4j-api, но она идет транзитивной зависимостью и неясно какая версия будет корректна
не вижу почему slf4j-api у тебя проблемы создает
источник
19:14пожаловаться#4

GP

Grigory Pomadchin in Data Engineers
у тебя очеидно json4s не той версии
источник
19:14пожаловаться#5

SD

Serg D. in Data Engineers
Блин, туплю уже под вечер, спасибо, сейчас перепроверю
источник
19:14пожаловаться#6

GP

Grigory Pomadchin in Data Engineers
^ дерево распечатай поможет понять откуда что пришло
источник
19:15пожаловаться#7

GP

Grigory Pomadchin in Data Engineers
если не мавен у тебя то сбт тоже умеет отрендерить или в список или в хтмл или в дот
источник
19:15пожаловаться#8

AE

Alexey Evdokimov in Data Engineers
а в sbt дерево чё печатает? sbt-dependency-graph?
источник
19:15пожаловаться#9

GP

Grigory Pomadchin in Data Engineers
Alexey Evdokimov
а в sbt дерево чё печатает? sbt-dependency-graph?
зависит от сбт версии; но да - этот плагин был
источник
19:15пожаловаться#10

GP

Grigory Pomadchin in Data Engineers
сейчас вмержен; 1.4 умеет так печатать
источник
19:16пожаловаться#11

AE

Alexey Evdokimov in Data Engineers
кста мавеном неприятно под третий спарк собираться стало, с зависимостями приходится кучу исключений, в том числе и slf4j
источник
19:18пожаловаться#12

AE

Alexey Evdokimov in Data Engineers
как раз сейчас на emr 6 мигрирую
источник
19:20пожаловаться#13

AE

Alexey Evdokimov in Data Engineers
порядочно насыпали граблей всё же
источник
19:21пожаловаться#14

GP

Grigory Pomadchin in Data Engineers
а какие были? а то у меня чет никаких не было)
источник
19:21пожаловаться#15

AE

Alexey Evdokimov in Data Engineers
зависимости странные, GC на екзекуторах странный, default parallelism возвращает всегда 2 если не писать maxResourceAllocation
источник
19:26пожаловаться#16

AE

Alexey Evdokimov in Data Engineers
и livy какой-то сильно свежий, ругался на deprecated опции
источник
19:27пожаловаться#17

K

KrivdaTheTriewe in Data Engineers
sbt над юзать
источник
19:27пожаловаться#18

I 

Igor  Master in Data Engineers
почему?
источник
19:27пожаловаться#19

GP

Grigory Pomadchin in Data Engineers
Alexey Evdokimov
зависимости странные, GC на екзекуторах странный, default parallelism возвращает всегда 2 если не писать maxResourceAllocation
плохой флаг
источник
19:28пожаловаться#20