Size: a a a

2021 November 02

GP

Grigory Pomadchin in Data Engineers
):


The name of the class that provides the implementation for function to be created. The implementing class should extend one of the base classes as follows:

Should extend UDF or UDAF in org.apache.hadoop.hive.ql.exec package.
Should extend AbstractGenericUDAFResolver, GenericUDF, or GenericUDTF in org.apache.hadoop.hive.ql.udf.generic package.
Should extend UserDefinedAggregateFunction in org.apache.spark.sql.expressions package.
источник

GP

Grigory Pomadchin in Data Engineers
эх
источник

ЕГ

Евгений Глотов... in Data Engineers
А не чё попало
источник
2021 November 03

GP

Grigory Pomadchin in Data Engineers
слушай а мне хочется зарегать удтшки спарковые черезез скул

я понял что мне надо создать хайвовые GenericUDF
источник

GP

Grigory Pomadchin in Data Engineers
но как релаизовать правильно внутренее представление
источник

GP

Grigory Pomadchin in Data Engineers
у меня же грубо говоря обжекты
на дисплей я хочу чтоб они например были стринги а под капотом там бинарное представление ну например
источник

GP

Grigory Pomadchin in Data Engineers
эх ну ладно; похоже уродские надо будет врапперы в общем случае иметь
постоянно серить десерить и тп
может мне и не нужен хороший тустринг
источник

ЕГ

Евгений Глотов... in Data Engineers
Слишком сложно чёт)
источник

GP

Grigory Pomadchin in Data Engineers
ну да) тлдр хочу регать удфы из скула
источник

ЕГ

Евгений Глотов... in Data Engineers
А зачем?)
источник

GP

Grigory Pomadchin in Data Engineers
кейс что надо чтоб клиент через ждбс/ одбс конектился и реганул что надо для сессии
источник

GP

Grigory Pomadchin in Data Engineers
не ну конечн согласен что глиняно звучит (:
источник

ЕГ

Евгений Глотов... in Data Engineers
Так вот он какой, yarn client😆
источник

GP

Grigory Pomadchin in Data Engineers
А причём тут ярн клиент?)
источник

GP

Grigory Pomadchin in Data Engineers
датабрикс у меня; он поднимает трифт сервер к которому можно слать скул квери
источник

ЕГ

Евгений Глотов... in Data Engineers
Ну типа yet another request needed_to_be_done)
источник

GP

Grigory Pomadchin in Data Engineers
лол
источник

GP

Grigory Pomadchin in Data Engineers
ну в целом я нашёл более менее способ; подсмотрел как спарк делает интероп
источник

GP

Grigory Pomadchin in Data Engineers
тлдр для интернал роу можно вывести хайв инспекторы
источник

GP

Grigory Pomadchin in Data Engineers
оно не оч конечно выглядит; потому что оно печтать будет интернал оепрезентейшн везде и руками надо машинерию делать (типо банального ту_стринг) хотя может я не разобрался просто
источник