ЕГ
С оконками обидно кстати
Size: a a a
2021 September 16
ЕГ
Надо проверить, третий поумнел ли
ЕГ
Или делает 30 окон последовательно
ЕГ
Из-за этого мне даже имплисит класс пришлось написать
ЕГ
Типа df.withColumns(col(...), col(...), ...)
ЕГ
А там внутри селект)
ИК
Нет ведь чтобы .selectExpr("*", "... over... ") и вперёд без всяких имплиситов. В питоняше нет имплиситов и никто не жалуется хД
ЕГ
А вроде звёздочка не заработала у меня(
ИК
Оу, обидна
ЕГ
Ну и это, уровень скалы был увеличен)
ЕГ
Полезным образом)
ЕГ
А не как обычно
ЕГ
Мы кстати потом задумались и распихали по имплиситам куски бизнес-логики
ЕГ
А в основном коде бизнес-логики только крупные функции-блоки
ЕГ
Типа df
.makeSomeColumns()
.transformTimestamps()
.calcWindowFunctions()
.save()
.makeSomeColumns()
.transformTimestamps()
.calcWindowFunctions()
.save()
2021 September 17
OI
Спасибо!!
Ну в граф плане проджект один, но я думал, мб он на картинке всё группирует
Ну в граф плане проджект один, но я думал, мб он на картинке всё группирует
OI
Т.е. большой разницы не будет, захерачить 70 with column или один selectExpr?
ИК
Я раньше, когда надо было добавить поля, не парясь делал foldLeft коллекции новых и оборачивал старые датафреймы в n полей. Ни разу не было проблем и чистый функциональный код
OI
А такой вопрос ещё: спарковый оптимизатор то, наверное, какое-то время должен потратить, чтобы соптимизировать кучу withColumn’ов в один project. Ну и на 10-20 это, наверное, не будет заметно, но насчёт 100+ я чота не уверен.