UR
Это хорошо, а платить-то кому?
Size: a a a
2021 April 21
D
azur
AZ
Datamechanics
AZ
Для батча не нужна уже много лет, для более интерактивной нагрузки нужна, но для этого базы есть
А
это потому что сеть обогнала диски по throughput? Может ли этот процесс быть цикличным, что диски снова обгонят сеть?
AZ
Диски медленные, узлы маленькие, локалити работает пока у вас нагрузка не превышает размер нод где хранятся популярные данные, в целом - оно того не стоит
AZ
Было пара пейперов на тему, я постил сюда
PK
Ты про дата локалити в узком смысле? Для шафлов все остаётся актуальным
AZ
Для шафла нужен быстрый локальный сторадж, данные там не хранятся постоянно
PK
Быстрый локальный сторадж нужен вообще для всего. Консьюмить shuffle spill, очевидно, лучше с топологически близкой машины
AZ
У дата локалити вроде один смысл - запуск ворклоада близко к тому месту где хранятся данные, это не про кэши и промежуточные результаты
PK
Следующий стейдж это тоже ворклоад. Если бы мне не приходилось вообще двигать данные по сети - это была бы пушка
А
забакетировать все по 1 ключу и шафлить только по нему
AZ
В некоторых базах если читать данные из S3 то следующий стейдж будет уже в базе и ничего не надо заново сортировать :)
GP
мож вы какие-то вообще разные кейсы обсуждаете
у меня какие-то сомнения пошли что вы не совсем об одном и томже
у меня какие-то сомнения пошли что вы не совсем об одном и томже
D
ну у меня вопрос не про модно молодежно, а про azure / дата лейки серьезных ентерпрайзов. врятли эентерпрайзы сидят в Datamechanics, а у меня выбран azure, вероятно окончательно
PK
Погоди, речь не про сортировку, а про способ передачи данных
AZ
Но я говорил про HDFS/YARN связку он-преме, на кластерах с хорошей сетью скорость чтения по сети выше чем с локального диска, и такое давно
e
как же так ? 😂
AE
что значит "чтение по сети"?