Size: a a a

2020 October 15

AZ

Anton Zadorozhniy in Data Engineers
Dmitry Girichev
это все интересно но уже несколько дней бьюсь над этими задачами, сейчас уже хочется чтоб просто заработало )
Там скорее всего увидите логику как формируется JDBC url, и можно ли туда что-то засунуть
источник

D

Dmitry Girichev in Data Engineers
Anton Zadorozhniy
Там скорее всего увидите логику как формируется JDBC url, и можно ли туда что-то засунуть
на крайний случай попробую.
источник

OA

Oleksandr Averchenko in Data Engineers
источник

OA

Oleksandr Averchenko in Data Engineers
Всё посоны, скоро все без работы останемся.
источник

ME

Max Efremov in Data Engineers
Да фиг, будут потом разрабы страдать, формулировать задания etl на натуральном языке)
источник

OI

Oleg Ilinsky in Data Engineers
где там уборщицы хорошо получают, говорите?
источник

AZ

Anton Zadorozhniy in Data Engineers
декомпильнул вертиковый коннектор, посмотрел - нет там никаких extra opts, собирают коннекшен из того что сказано в документации, никак сбоку не подлезть
источник

VS

Vasily Shabanov in Data Engineers
А подсунуть свой перекомпилированный jdbc с блекджеком и захардкоженными extra opts
источник

VS

Vasily Shabanov in Data Engineers
Anton Zadorozhniy
декомпильнул вертиковый коннектор, посмотрел - нет там никаких extra opts, собирают коннекшен из того что сказано в документации, никак сбоку не подлезть
сильно однако
источник

AZ

Anton Zadorozhniy in Data Engineers
собирать целый jdbc драйвер из декомпилированных классов это сильно, думаю никто на такое не пойдет
источник

ME

Max Efremov in Data Engineers
Vasily Shabanov
сильно однако
Можно же просто идеей джарник открыть
источник

SS

Sergey Sheremeta in Data Engineers
приветики!
подскажите, как можно в динамике создать case class над некой схемой из json, преобразовать Dataframe в Dataset и в mapPartitions по этому датасету поработать с данными через этот кейс-класс?
источник

VS

Vasily Shabanov in Data Engineers
открыть полдела
источник

AZ

Anton Zadorozhniy in Data Engineers
Sergey Sheremeta
приветики!
подскажите, как можно в динамике создать case class над некой схемой из json, преобразовать Dataframe в Dataset и в mapPartitions по этому датасету поработать с данными через этот кейс-класс?
в динамике? в скале?
источник

AZ

Anton Zadorozhniy in Data Engineers
Vasily Shabanov
сильно однако
там правда ничего сложного
источник

AE

Alexey Evdokimov in Data Engineers
Anton Zadorozhniy
там правда ничего сложного
тоже частенько таким непотребством занимаюсь. а чё ещё делать, если исходники не дают?
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
тоже частенько таким непотребством занимаюсь. а чё ещё делать, если исходники не дают?
Обнимемся!
источник

DZ

Dmitry Zuev in Data Engineers
Sergey Sheremeta
приветики!
подскажите, как можно в динамике создать case class над некой схемой из json, преобразовать Dataframe в Dataset и в mapPartitions по этому датасету поработать с данными через этот кейс-класс?
Никак
источник

DZ

Dmitry Zuev in Data Engineers
Какая задача?
источник

DZ

Dmitry Zuev in Data Engineers
Вероятно у этого желанного кейскласа есть свойства которые можно выделить в куда-то
источник