Size: a a a

Архитектура данных

2020 February 06

DT

Denis Troyan in Архитектура данных
Для эвентстрима — очень хорош! А вот для дименшенов — не очень (
источник

PD

Phil Delgyado in Архитектура данных
Ну и вообще, как только у вас не "единое хранилище на все", то уже лучше использовать специализированные стораджи на каждую задачу, а не "полууниверсальные" типа игнайта.
источник

PD

Phil Delgyado in Архитектура данных
Denis Troyan
Для эвентстрима — очень хорош! А вот для дименшенов — не очень (
А для этого там MatView есть. Ну и вообще аггрегации быстро делает.
источник

DT

Denis Troyan in Архитектура данных
Phil Delgyado
Как это, не умеет? А AggregateMerge на что.
Насколько я в курсе, в кликхаусе Есть агрегация по ключу, но работает по шедулеру
источник

PD

Phil Delgyado in Архитектура данных
Не по шедулеру, а по пачке данных. Т.е. для OLTP не стоит, для OLAP с отставанием до секунды-двух - нормально.
источник

DT

Denis Troyan in Архитектура данных
Phil Delgyado
Не по шедулеру, а по пачке данных. Т.е. для OLTP не стоит, для OLAP с отставанием до секунды-двух - нормально.
Почему-то никогда об этом не думал. Спасибо за мысль, я попробую!
источник

PD

Phil Delgyado in Архитектура данных
Я сейчас как раз играю с быстрой key-value для OLTP и CH для нестандартных выборок, фильтров и аналитики.
источник

DT

Denis Troyan in Архитектура данных
Phil Delgyado
Я сейчас как раз играю с быстрой key-value для OLTP и CH для нестандартных выборок, фильтров и аналитики.
А как данные пересекать между собой потом?
источник

PD

Phil Delgyado in Архитектура данных
Пересекать - для чего?
источник

DT

Denis Troyan in Архитектура данных
Ну, дашборд показать!
источник

DT

Denis Troyan in Архитектура данных
Нотификацию выслать
источник

DT

Denis Troyan in Архитектура данных
Писать k-v и в кликхаус в матвьюху параллельно?
источник

PD

Phil Delgyado in Архитектура данных
Да, конечно.
источник

PD

Phil Delgyado in Архитектура данных
Т.е. есть поток запросов на обновление, он прилетает на оркестратор, тот пишет всюду куда надо и обеспечивает гарантии.
Т.е примерно CQRS )
источник

PD

Phil Delgyado in Архитектура данных
В обеих базах одни и те же данные.
источник

DT

Denis Troyan in Архитектура данных
Phil Delgyado
Т.е. есть поток запросов на обновление, он прилетает на оркестратор, тот пишет всюду куда надо и обеспечивает гарантии.
Т.е примерно CQRS )
Оркестратор = флинк/спарк?
источник

PD

Phil Delgyado in Архитектура данных
(Так-то баз гораздо больше, так как key-value по штуке на сервис, а вот CH как раз с агрегацией данных из разных сервисов. Но это все не так существенно).
источник

PD

Phil Delgyado in Архитектура данных
Denis Troyan
Оркестратор = флинк/спарк?
Нет, конечно. Свое в идеологии Cadence.
источник

DT

Denis Troyan in Архитектура данных
Почему нет, и почему конечно?
источник

PD

Phil Delgyado in Архитектура данных
Но это каждый сам себе придумывает.
источник