А
Что перспективней с точки зрения развития технологии: MPP базы, где данные жестко привязаны к вычислительной ноде или системы по типу Spark, где можно стянуть данные по сети, если их рядом нет?
Size: a a a
2021 July 20
AZ
перспективно для кого?
e
второе , так как вычислительный кластер может обслуживать различные стораджи
VS
В MPP базах не всегда привязка к ноде
VS
Это скорее даже исключение и кривизна реализации
А
разве GP или TD могут считать данные с другой ноды на 1 шаге запроса?
VS
Хз как у терадаты, а запросы в гринплам вообще работает через мастер ноду, которая является нодой инициатором... В вертике все ноды могут быть инициатором
А
всмысле мастер нода форвардит запрос на ноду с нужным куском данных? Разве это не получается как раз привязка данных к ноде?
VS
Запрос не форвардится, по крайне мере, точно не в вертике. Выстраивается план запроса и идет расчет. Привязка идет не к ноде, а к данным, вся суть mpp в целом... Например, у вертике есть облачный режим eon, у вас данные в баккетах, а ноды это тупо компьют
VS
Опять таки, у вас есть репликация, сегодня вы считаете на одной ноде, завтра на другой. У гринплам так точно работает, а вот в вертике это работает только при потери ноды
M
Есть вопросик по debezium. Я увидел на сайте саппорт фичи по маскировке данных, но не нашел примеров использования. Кто-то сталкивался с этим?
или лучше сделать отдельный процессор для маскировки данных и писать в спец топик?
или лучше сделать отдельный процессор для маскировки данных и писать в спец топик?
AZ
да, в MPP базах (прогрессивных) давно весь сторадж виртуальный, он сам там решает откуда данные брать, иногда может перекладывать с медленного на более быстрый
AZ
в терадате тоже на каждой ноде работает PE (Parsing Engine) который с клиентами разговаривает, терадата вообще P2P система, нет специальных узлов, все равноправны
VS
как и вертика, получается
AZ
Для бареметала это имеет больше смысла чем выделение отдельных узлов под разные роли
VS
ну такое поведение - это кривая реализация, например как у гп
VS
к слову, я.облако вроде как обещало сделать мастер гп отказоустойчивым
AZ
TD может и с объектного стораджа зачитать на первом шаге, как и куча других баз
VS
кстати, трино/престо по сути аналогично работают
А
у всех получается похожие принципы работы, и разница в деталях реализации