так там же просто условия больше/меньше, просто по индексу бегают

Если индекс, то вероятно nested loops, интересно, если не будет его. Надо попробовать в oracle будет

> на весь стек есть helm-чарты

в смысле можно нагуглить чьи-то поделки и заготовки, или проекты поддерживают свои чарты?

А где такое? Тож хочу почитать)

https://docs.oracle.com/en/database/oracle/oracle-database/19/tgsql/joins.html#GUID-24F34188-110F-4245-9DE7-43954092AFE0
В oracle есть band join, но судя по описанию он ничем не отличается от merge join

Можно бесплатно попробовать силы в Spark. может кому пригодится

#FREE #CCA175 #dumps on #Udemy. Course Rating : 4.6/5
COUPON CODE:
https://www.udemy.com/course/cca-175-spark-and-hadoop-developer-practice-tests-a/?couponCode=A618B6D30FCD8921E21B
FREE Spark and Hadoop Developer Certification dumps

спасибо

спасибо за ссылку. Жаль, что там рассмативается не общий случай, а вариант, когда у нас есть соединения по id, а дальше уже фильтрация по условаию x between y_start and y_end. Проверил на спраке 2.4.5 и 3.0 они это уже сами делать могут. Интересно что можно придумать, когда у нас только услование вида x between y_start and y_end.

https://docs.databricks.com/delta/join-performance/range-join.html
В доке брикса вариант join через bin без доп соединения

но это их рантайм, не опенсоурс?

да, опенсурсные хинты все тут прописаны:

https://spark.apache.org/docs/latest/sql-ref-syntax-qry-select-hints.html#partitioning-hints

коллеги, подскажите, пожалуйста:
как бы мне Spark-ом получить совокупный размер всех файлов в конкретной партиции таблицы?

я думаю стоит взять путь этой партиции и смотреть напрямую средствами файловой системы, не помню чтобы можно было в dataframe/dataset api собрать размеры файлов

в Databricks Delta есть SQL-команда для сбора таких метаданных:
https://docs.databricks.com/spark/latest/spark-sql/language-manual/describe-table.html#describe-partition

DESCRIBE [EXTENDED] [db_name.]table_name PARTITION partition_spec

жалко, что ее выпилили в OSS версии ((

А датафрейм и не знает о размере данных, которые потом запишутся на диск. Там могут и в csv записать, могут и в паркет. При считывании тоже самое, ридер считал и всё.

так не запишутся, а прочитались

ну и пути к файлам он почему-то знает, а их размеры не знает

Не интересно)

коллеги, привет! подскажите...
<data_vault_enabled>
у меня в потоковом режиме прилетают "состояния" некой сущности - например, сущность "абонент". со всеми его атрибутами.
а я хочу разложить в DWH эти "состояния" на "события"

например, сначала прилетело состояние:
id, name, sex, married
1,  Petrova, female, 0

потом:
id, name, sex, married
1,  Petrova-Vodkina, female, 1

хочу иметь возможность отследить все изменения для абонентов по времени.
мне ведь путь в DataVault?
</data_vault_enabled>

путь в scd