Р
Всем привет! Ктонибудь может обьяснить почему оконная функция max(..) over (partition by .. order by ..) зависит от order by..?
Size: a a a
2020 August 02
AZ
Роман
Всем привет! Ктонибудь может обьяснить почему оконная функция max(..) over (partition by .. order by ..) зависит от order by..?
я не помню деталей стандарта, но вроде там по-умолчанию вставляется range between unbounded preceding and current row, так что то как вы сортируете определяет последовательность для накопительного итога
AZ
зависит от того какая СУБД вообще
Р
Вот пробую уже на двух. Order by null, order by столбец asc и desc) lдают разные результаты
Р
Попробовал в hive и postgres
AZ
ну да, это корректно, когда вы добавляете order by то функция считается накопительным итогом
DZ
я не помню деталей стандарта, но вроде там по-умолчанию вставляется range between unbounded preceding and current row, так что то как вы сортируете определяет последовательность для накопительного итога
Эм, но там макс
AZ
Эм, но там макс
максимум также можно считать накопительным итогом
DZ
Аа блин, всё
Р
Спасибо!
AZ
если вам нужно одинаковое значение для каждой строки в партиции - уберите order by clause
2020 August 03
АК
Подскажите, в импале так и не сделали xpath, как в hive, чтобы можно было парсить xml в столбце (внеш. таблица с паркетами)?
Hive меня в общем и целом вполне устраивает для этих целей, просто импала, конечно, пошустрее будет )
Hive меня в общем и целом вполне устраивает для этих целей, просто импала, конечно, пошустрее будет )
AS
А как в спарке решаются подобные задачи?
посмотрел как другие делают, оптимально через rdd со своим партишионером, это как раз тот редкий случай, когда стоит помучиться с rdd по сравнению с dataframe|dataset
N
посмотрел как другие делают, оптимально через rdd со своим партишионером, это как раз тот редкий случай, когда стоит помучиться с rdd по сравнению с dataframe|dataset
Скиньте ссылочку в группу. Интересно посмотреть , как это делают
AS
Nikolay
Скиньте ссылочку в группу. Интересно посмотреть , как это делают
АК
посмотрел как другие делают, оптимально через rdd со своим партишионером, это как раз тот редкий случай, когда стоит помучиться с rdd по сравнению с dataframe|dataset
Плюс через rdd в том, что перформанс выше?
AS
Плюс через rdd в том, что перформанс выше?
в том, что ты можешь управлять где и как будут расположены партиции, и с помощью этого добиться большей скорости. Например использовать свой партишионер для join (в случае dataframe у тебя будет решафл).
АК
в том, что ты можешь управлять где и как будут расположены партиции, и с помощью этого добиться большей скорости. Например использовать свой партишионер для join (в случае dataframe у тебя будет решафл).
Спасибо! Обычно тоже через бакеты джойнил
А
В databricks есть range join через хинт https://docs.databricks.com/delta/join-performance/range-join.html
AS
В databricks есть range join через хинт https://docs.databricks.com/delta/join-performance/range-join.html
и похоже сделан через bin