Телеграмм чат группы hadoopusers страница 3918

Народ, подскажите пожалуйста как работает Hudi table? Например мне нужно обрабатывать входящие данные из S3 - либо full snapshot либо increment. Хочу использовать AWS Glue Pyspark и Hudi jar. Как это работает изнутри, где хранятся индексы?

источник

04:15пожаловаться #6

Nikita Blagodarnyy in Data Engineers

Какие индексы?

источник

11:11пожаловаться #7

ИК

Иван Калининский... in Data Engineers

Думаю, те же индексы, о которых говорится в этом сообщении

https://t.me/hadoopusers/89358

Дмитрий in Data Engineers

А какая скорость интересует, просто для примера hudi 0.6 350млн строк, в примерно 30 секций вмерживает 2 часа 30 минут, 100 екзекуторов, 4 vcpu по 64 гб, 0.8 на данные. Индекс симпл. Ну тут явно не в коня корм, так как 4 таска из 400 по работе с индесами обрабатываются 2 часа, так как там много данных, игра с параллелизмом не проходит, хоть 1000, хоть 2000 всеравно 4 таска.

источник

11:22пожаловаться #8

Nikita Blagodarnyy in Data Engineers

Это не индексы, это блум фильтры. Индексов там нет. Блум фильтры живут в каждом файле поркета.

источник

11:26пожаловаться #9

Mikhail Epikhin in Data Engineers

+1, рааботает

источник

11:43пожаловаться #10

Andrey Smirnov in Data Engineers

это какие курсы?

источник

12:12пожаловаться #11

Andrey Smirnov in Data Engineers

а можно ссылку на конкретный курс, у меня почему то везде просит денег на стадии checkout

источник

12:17пожаловаться #12

АЖ

Андрей Жуков... in Data Engineers

да, у меня только бизнес лидер платный

источник

12:19пожаловаться #13

Andrey Smirnov in Data Engineers

ок, спасибо

источник

12:22пожаловаться #14

ПБ

Повелитель Бури... in Data Engineers

Привет! подскажите пожалуйста, а то в чем рисует er диаграммы ?
погуглил, все на питоне такое древнее
https://modeling-languages.com/uml-tools/#python

Modeling Languages

UML tools : Our curated selection of free, online, OSS, for MAC,... tools

Find the right UML tool for you whatever is your purpose, from simple sketching of diagrams for discussion purposes to full code generation from models

источник

12:55пожаловаться #15

Алексей in Data Engineers

PowerDesigner, но давно его не видел в живую

источник

13:01пожаловаться #16

Anton Zadorozhniy in Data Engineers

Смотря для чего и какие диаграммы, LDM рисуют в PowerDesigner обычно, а если какой-то DV или Anchor то лучше из метаданных генерить визуализацию

источник