Size: a a a

2021 March 30

A

Alex in Data Engineers
одним джарником не обойтись
источник

A

Alex in Data Engineers
когда в своё время пытался обновлять builtin hive на свежую версию столкнулся с тем что у хайва внутренняя иерархия классов поменялась
паттерн матчинг на instanceof в спарке скомпилировался
но работал неправильно =)
источник

A

Alex in Data Engineers
источник

A

Alex in Data Engineers
ну и в момент компиляции

             <sources>
               <source>v${hive.version.short}/src/main/scala</source>
               <source>v${hive.version.short}/src/main/java</source>
               <source>src/main/scala-${scala.binary.version}</source>
             </sources>
источник

A

Alex in Data Engineers
хотя смотрю там не сильно много классов в 3м уже было
источник

K

KrivdaTheTriewe in Data Engineers
я просто потратил неделю боли,  а потом нашел офф версию спарка спрятаную
источник

AZ

Anton Zadorozhniy in Data Engineers
Обычно в таких случаях поступают иначе, держат свою сборку с работающими зависимостями, а потом тянут ее до нужных патчей и бранчей
источник

AZ

Anton Zadorozhniy in Data Engineers
Ну мы так делали
источник

AZ

Anton Zadorozhniy in Data Engineers
Иначе процесс не факт что сойдётся за приемлемое время, кода то много там
источник

AE

Alexey Evdokimov in Data Engineers
это ж какой объём работы
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Обычно в таких случаях поступают иначе, держат свою сборку с работающими зависимостями, а потом тянут ее до нужных патчей и бранчей
возможно мне проще джобы будет поправить и все
источник

K

KrivdaTheTriewe in Data Engineers
не работая с хайв м етастором
источник

AZ

Anton Zadorozhniy in Data Engineers
Объём работы большой, но с определенного масштаба оно того стоит, в сумме с остальными преимуществами ванилек
источник

AZ

Anton Zadorozhniy in Data Engineers
Можно же не только с античными версиями сидеть, но и cutting edge, получая конкурентное преимущество
источник

AE

Alexey Evdokimov in Data Engineers
и собрать все косяки early adopting
источник

A

Alex in Data Engineers
всё зависит от расхождения веток
иногда работы не так уж и много, только несколько патчей
источник

AE

Alexey Evdokimov in Data Engineers
в спарке кодовая база довольно грязная, немало приватных форков сторонних зависимостей
источник

A

Alex in Data Engineers
Alexey Evdokimov
и собрать все косяки early adopting
ну а куда без этого, но иногда это имеет смысл, всё зависит от задачи
источник

AE

Alexey Evdokimov in Data Engineers
поддерживать свой форк верный головняк, не?
источник

A

Alex in Data Engineers
почему?
источник