ЕГ
да, эт понятно
потом union
Size: a a a
2021 September 23
OI
EXCEPT and EXCEPT ALL return the rows that are found in one relation but not the other. EXCEPT (alternatively, EXCEPT DISTINCT) takes only distinct rows while EXCEPT ALL does not remove duplicates from the result rows. Note that MINUS is an alias for EXCEPT.
OI
но чёт я не понимаю всё равно, как после except строк больше становится
ЕГ
Там джойн выполняется
ЕГ
Если строки не уникальны, то будет множиться
OI
ну эт понятно, но тип выглядит как баг)
ЕГ
Это фича)
ЕГ
OI
если сравнивать таблички с большим кол-вом дублей, можно вообще получить ООМы, получается
ЕГ
Spark.sql.shuffle.partitions увеличиваешь и норм
ЕГ
Одна партиция до 10млн строк переваривает +-
OI
не, таких строк нет
OI
с работами не сюда
TG
Подскажи куда))
OI
там выше скинул, там прям в канале будет висеть вакансия
здесь улетит за полчаса наверх
здесь улетит за полчаса наверх
TG
Спасиб)