AB
i see., so , every1 here is a pro data engineer, cool., im also learning about data engineering/mining/cleaning and preprocessiong. , im not gud at all., but i look forward to learn ., hope no1 mind
cool! you would learn it by English?
Size: a a a
2020 September 29
GS
yeaa
GP
а по схеме можно генерить из шейплеса?
авро4с генерит схему на основе кейс классов; если у тебя схема есть то ее генерировать уже не надо
AB
авро4с генерит схему на основе кейс классов; если у тебя схема есть то ее генерировать уже не надо
у меня кейс классы кладуться в шейплесс массив и из них создается GenericRecord который потом пишется на хадуп через AvroSchema
[AvroRecordCAseClass]AB
те мне этот дженерик рекорд писать исопльзуя схему правильно понял?
GP
AB
ну вроде сейчас датасорс апи больше популярно что для записи что для чтения))
и еще момент насчет датасорс
AB
что это за апи где глянуть?
GP
у меня кейс классы кладуться в шейплесс массив и из них создается GenericRecord который потом пишется на хадуп через AvroSchema
[AvroRecordCAseClass]интересно, шейплесс массив? хлист может?
AB
интересно, шейплесс массив? хлист может?
ну да
GP
что это за апи где глянуть?
GP
ну да
это гетерогенный список все же, не массив
AB
интересно, шейплесс массив? хлист может?
через
:+ 😂AB
через
:+ 😂юезх рожи не получилоь))
GP
это копродукт
AB
это гетерогенный список все же, не массив
ок я не спорю! точнее так - у меня массив шейплесов!
AB
это копродукт
да через него
РА
чат, а подскажите, есть ли какие то тулы для конструирования запросов через Web UI, а-ля NiFi, только SQL (HiveQL) query builder?
АЖ
чат, а подскажите, есть ли какие то тулы для конструирования запросов через Web UI, а-ля NiFi, только SQL (HiveQL) query builder?
это типа Web IDE с подсказками?
M
Аля Jupiter?