Size: a a a

2021 March 30

K

KrivdaTheTriewe in Data Engineers
Не на сайте
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
Третий спарк короч депрекейтнул,но сборка офицальная была, кстати
Тогда все может работать
источник

K

KrivdaTheTriewe in Data Engineers
Переслано от KrivdaTheTriewe
источник

K

KrivdaTheTriewe in Data Engineers
вот такая штука была) хочу терь 3.1 там багу мерзку пофиксили(
источник

K

KrivdaTheTriewe in Data Engineers
источник

A

Alex in Data Engineers
Anton Zadorozhniy
Зашимить мб что-то придётся, я не уверен что прям тупо со старой зависимостью соберётся
нет, не соберётся, так как они в ветке дропнули поддержку/сборку с хайвом 1.2 и подчистили код
поэтому нужно откатывать комит как минимум
источник

A

Alex in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
В принципе просто толкнуть make distribution шельник и посмотреть :)
источник

A

Alex in Data Engineers
не, прокатит
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
В принципе просто толкнуть make distribution шельник и посмотреть :)
оно не работало кочему то на 3 версии спарка
источник

K

KrivdaTheTriewe in Data Engineers
Я прям сгорел  и написал в рассылку
источник

K

KrivdaTheTriewe in Data Engineers
у меня не получилось короче 3 спарк  заставить работать вообще с кастомными джарками хайва, оно постоянно падало
источник

A

Alex in Data Engineers
Anton Zadorozhniy
В принципе просто толкнуть make distribution шельник и посмотреть :)
https://github.com/apache/spark/pull/29936

один из комитов по чистке
источник

K

KrivdaTheTriewe in Data Engineers
очень хочется понять терь, как заставить работать это добро
источник

A

Alex in Data Engineers
ну первым шагом взять ветку 3.1 и ревертнуть туда указанный патч
источник

K

KrivdaTheTriewe in Data Engineers
Мы еще столкнулись с багой интересной, что если используется новый шафл протокол, то получаются результаты отличные от старого шафл протокола
источник

A

Alex in Data Engineers
потом пофиксить конфликты что поломалось
источник

A

Alex in Data Engineers
помолится чтобы работало
источник

K

KrivdaTheTriewe in Data Engineers
Alex
ну первым шагом взять ветку 3.1 и ревертнуть туда указанный патч
я оч надеюсь, что можно какой-нибудь джарник добавить в класспас и параметр все таки прописать
источник

A

Alex in Data Engineers
нет, там у либ апи менялось, поэтому в своё время классы для builtin хайвай 1.2 и 2.3 лежали в разных папках и на компиляции выбиралась нужная
источник