KS
Можно поподробнее?
Это минимальная часть на питоне и сохранять всё в Постгрес?
Это минимальная часть на питоне и сохранять всё в Постгрес?
Size: a a a
2021 September 16
AE
у типичного инженера основной кейс обычно сводится к "тем или иным способом снизить издержки" %)
AE
а поддержка чего-либо всегда самое дорогое, потому что стоит больше всего человеческого времени
AE
отличная статья. сохранил в закладочки
AZ
Если у вас такой маленький объём то я бы посмотрел на встроенные базы, duckdb например
M
Ксю не хватило маркус стула...
ПФ
T
Бери zig
KS
Спасибо всем за информацию, буду изучать.
OI
Скромный up
GP
ЕГ
Так он и во втором не превращается
ЕГ
Я чё зря штоле проверял тут неделю назад
ЕГ
Если у вас сложный withColumn, например с оконочкой, то конечно будет stage
ЕГ
А так, по крайней мере spark 2.4.5, несколько withColumn и даже более сложные операции разворачивает в один project
ЕГ
С оконками - нужно делать select(*all_columns, func1().over(w), func2().over(w), ...)
ЕГ
Тогда если окно одно или даже просто есть у них общий partitionBy - исполнится в одну стадию
ПФ
Людей, которые были свидетелями минимум :)
ПФ
Но я помню!