Телеграмм чат группы hadoopusers страница 1809

Ещё можно reduceByKey

20:45пожаловаться #1

Или агрегатор по юзеру сделать

20:45пожаловаться #2

Тогда быстро отработает

20:45пожаловаться #3

За один редьюс

20:45пожаловаться #4

я вот тоже думал про кастомную UDAF

20:46пожаловаться #5

простой фильтр сломается при повторяющихся событиях :(

20:46пожаловаться #6

O. Petr in Data Engineers

Udwf

20:49пожаловаться #7

так это же и есть udaf с окном

20:49пожаловаться #8

Eduard Vlasov

простой фильтр сломается при повторяющихся событиях :(

Почему

20:51пожаловаться #9

Вы можете все одним удафом сделать

20:51пожаловаться #10

Вам по сути нужно агрегировать список событий, время события а, время события б

20:52пожаловаться #11

И обновлять

20:52пожаловаться #12

Ну и ид каждого из событий

20:52пожаловаться #13

Но если у вас не так всего много

20:52пожаловаться #14

То лучше сделайте правильно

20:52пожаловаться #15

И проще логику

20:52пожаловаться #16

угу в udaf все без проблем делается, но тяжеловато сопровождать это, а голый sql - медленно :(

20:54пожаловаться #17

спасибо 👍

20:54пожаловаться #18

Eduard Vlasov

угу в udaf все без проблем делается, но тяжеловато сопровождать это, а голый sql - медленно :(

Ну нк знаю, чо там

20:58пожаловаться #19

К датасету приведите