K
Батлили на эту тему с @asm0dey в Moscow Spark. Если коротко, моя позиция, что RDD достаточно простой и компактный, чтобы показать архитектуру и работу с партишенерами
Я подтверждаю , плюс по рдд пейпер есть
Size: a a a
2021 March 22
K
Да, много где люди живут без оконных функций, материализуют срезы, не знают своего счастья
Можно редьюс бай ки написать
AZ
в этом видно разницу, откуда человек в датаинженерию зашел: из etl разработчика или java
Скорее с чем приходилось сталкиваться на предыдущих местах, те джависты кто активно с аналитическими базами работали - конечно знают про оконные функции, скоро 20 лет как они в стандарте (и какое-то время жили в достандартных реализациях)
AZ
Можно редьюс бай ки написать
Точн
ЕГ
в этом видно разницу, откуда человек в датаинженерию зашел: из etl разработчика или java
Мы из аналитиков нанимаем)
SQL+python хватит всем)
SQL+python хватит всем)
N
Можно редьюс бай ки написать
я читал пару лет назад самописный групбай/каунт на жабе. плакал.
NN
Я подтверждаю , плюс по рдд пейпер есть
Пейпер?
AZ
я читал пару лет назад самописный групбай/каунт на жабе. плакал.
А я пытал этим на собесах в 2012, все кому досталось - простите
K
Пейпер?
Ну рдд фундпментальная структура данных , в пейпере она описана и показано , как именно ее свойства приводят к тому , что она эффективна при обработке данных
NN
Ну рдд фундпментальная структура данных , в пейпере она описана и показано , как именно ее свойства приводят к тому , что она эффективна при обработке данных
Я просто не могу понять, что такое пейпер
AZ
Я просто не могу понять, что такое пейпер
Whitepaper, публикация
NN
Благодарю
РП
За 20 лет ни разу не пришлось выбрать самую последнюю по дате строчку?)) Звучит как фантастика
+
В последнее время только это и приходится делать.
В последнее время только это и приходится делать.
РП
Кстати, никто не сравнивал? Что быстрее, distinct on или оконка через row_number\rank?
ЕГ
Не очень корректно сравнивать, дистинкт он выбирает что попало, а ранк позволяет выбрать точно)
AZ
Кстати, никто не сравнивал? Что быстрее, distinct on или оконка через row_number\rank?
кмк она шустрее работает в обычной ПГ, и помедленнее оконки в грипнламе, но с "лидерами рынка" сравнить трудно так как это нестандартный SQL
РП
Ну вот у нас тут 2 лагеря. Одни за distinct on в гринпламе, вторые привыкли и фигачат везде row_number\rank))
ПБ
мне на пошлой работе аналитики дали 10Тб гзипнутых архивов с csv, и говорят: ну, через спарк прогони, быстро же ёпт))
И ? В чем соль?
DT
Странно, что почти нигде нет такой штуки как LIMIT n,m BY key1, key2 тк она кажется достаточно естественной