ЕГ
За 20 лет ни разу не пришлось выбрать самую последнюю по дате строчку?)) Звучит как фантастика
+
Size: a a a
2021 March 22
TT
Найти топ 10 товаров по продажам за каждый день за последние 90 дней в разбивке по категориям
N
За 20 лет ни разу не пришлось выбрать самую последнюю по дате строчку?)) Звучит как фантастика
ну если человек больше прикладник, чем анализатор, может и нет.
AE
За 20 лет ни разу не пришлось выбрать самую последнюю по дате строчку?)) Звучит как фантастика
угу. не было таких задач. были задачи типа посчитать медиану по диапазону дат, но без скользящего окна и смещений относительно последней
AE
в телекомовском биллинге расчётный период обычно фиксированный, в нём скользящие окна бывают редко. а если и есть необходимость выдать "за посление N часов", то подытог всё равно считается каждый час, так что не нужно
AZ
ну если человек больше прикладник, чем анализатор, может и нет.
Да, много где люди живут без оконных функций, материализуют срезы, не знают своего счастья
N
в телекомовском биллинге расчётный период обычно фиксированный, в нём скользящие окна бывают редко. а если и есть необходимость выдать "за посление N часов", то подытог всё равно считается каждый час, так что не нужно
Я работал в биллинге, и с оконными функциями приходилось иметь дело регулярно
N
Да, много где люди живут без оконных функций, материализуют срезы, не знают своего счастья
кто-то пугается джойнов и верит только в ORM
N
Ну возможно бывает, спорить не буду
ПФ
A new update of the Big Data Tools plugin has been released. This is our first version for general use, after a year and a half of the Early Access Preview program. Let’s dive into the details.
https://t.co/aC2ddGJpZi
https://t.co/aC2ddGJpZi
AE
Я работал в биллинге, и с оконными функциями приходилось иметь дело регулярно
ну если вы хранили сырые логи, то видимо да. а мой провайдер, например, только агрегированные
AZ
Я работал в биллинге, и с оконными функциями приходилось иметь дело регулярно
Да вообще в любой клиентской аналитике без таких функций никак, но если процесс фиксированный, в прошлое заглядывать не нужно - то вполне норм
ПФ
Батлили на эту тему с @asm0dey в Moscow Spark. Если коротко, моя позиция, что RDD достаточно простой и компактный, чтобы показать архитектуру и работу с партишенерами
Я даже в итоге согласился с точностью до методики обучения
AZ
кто-то пугается джойнов и верит только в ORM
Ну вон кликхаус без них жил и какую популярность набрал?
AE
Да вообще в любой клиентской аналитике без таких функций никак, но если процесс фиксированный, в прошлое заглядывать не нужно - то вполне норм
мой начальник тогда говорил ровно то же самое. в духе на кой нам оконные функции, если у нас всё и так хорошо
AZ
Я тут наблюдал диалог между двумя командами ДС, «деревенская мышка пришла в гости к городской», что feature engineering можно успешно делать на вьюшках, и вообще «считать фичи» это опциональная чисто вещь, базовые витрины посчитались и все норм; оказывается так можно было
AZ
мой начальник тогда говорил ровно то же самое. в духе на кой нам оконные функции, если у нас всё и так хорошо
Вот я знаю главного архитектора большой команды IoT который тоже самое про джоины говорит)
N
мой начальник тогда говорил ровно то же самое. в духе на кой нам оконные функции, если у нас всё и так хорошо
Ну в крайности впадать тоже не следует и не забывать об их существовании. А то видел я такие запросы, с кучей селф-джоинов там, где обошлось бы одной оконной функцией.
AE
ох рассказал бы я про ревью одной системы из ростелекома, которую прошлым летом позвали посмотреть. если бы не NDA. такого насмотрелся, что больше я к ним экспертизу делать не сунусь. это жесть
А
в этом видно разницу, откуда человек в датаинженерию зашел: из etl разработчика или java