На сдачу с микросервисов взял камаз терадат с экзадатами

слова вроде знакомые но все равно не понимаю о чем речь

ну так я и говорю - это cloud-native DWH, как Redshift или Rockset или Firebolt

но концептуально то от DWH sf не отличается

поэтому я и не понимаю, почему Teradata или Vertica хуже, даже если они с "архитектурой из прошлого века". Их можно точно так же запустить в клауде 🙂

DWH это хранилище, мы вроде про СУБД говорили; архитектурно есть небольшая разница между СУБД которая обращается с дисками через кастомную файловую систему (и использует всякие трюки вроде разных скоростей на разных дорожках дисков), которой нужно небольшой количество очень толстых, очень надежных узлов (где нет никаких шумных соседей и гипервизора), которые соединены супер быстрым интерконнектом (инфинибенд), и СУБД которая хранит все изначально на объектном сторадже по REST интерфейсу, поднимает данные по требованию, изначально оверпровиженится на виртуалки...

и успешно запускается, но показатели эластичности, операционные показатели (как быстро и легко можно поскейлить), реакция на сбои - все из времен он-прем бареметала

Все дело в том, чтосуществует много разных наборов файлов, они разного размера, поэтому так просто не получается, надо, чтобы spark не делил паркетник и и не склеивал их. Я предполагаю, что это было бы даже проще, но класс (что-то там Relation) очень интеллектуальный и я не понял, как его настроить на простое чтение, без оптимизации))

мхм, понял. И видимо допилка под клауд слишком затратна?

ну попробуй даже в какой-нибудь очень простой СУБД, которая не работает МРР-кластере с его постоянными репликациями, балансировками и спекулятивностью (например в самом простом MySQL5), сделать первичное хранение не на локальных дисках, а в S3?

звучит как "написать proxy-fs с гарантиями и fuse-mount"

и сделать так чтобы оно работало со скоростью обычной он-премной железки

ну я не волшебник, но при инженерных силах крупных вендоров это кажется вполне реальным

но почему-то они по этому пути не пошли - вот я и хочу понять почему 🙂

мне стало интересно, полез посмотреть в исходники, боюсь что не получится
partitionedFiles.foreach { file =>
     if (currentSize + file.length > maxSplitBytes) {
       closePartition()
     }
     // Add the given file to the current partition.
     currentSize += file.length + openCostInBytes
     currentFiles += file
   }
в object FilePartition

это очень сложно и дорого, без гарантий что условный амазон или гугл не сделает first party решение и не вытеснит тебя

похожая история как с синхронной репликацией аналитических СУБД, нормально это ни у кого не работает просто потому что это очень сложно и дорого реализовать, рискованное вложение

кстати в клауд-нейтив СУБД синхронную репликацию сильно проще сделать тоже, если вся балк загрузка идет напрямую в объектное хранилище)

редшифт кстати ни разу не клауд нейтив, это paraccel в девичестве, он также точно хранит все на локальные диски, посмотри как там ресайзы сделаны (спойлер: рид-онли, либо даунтайм)

firebolt это да, попытка догнать сноуфлейк