PD
А зачем тут батчи?
Size: a a a
2019 July 05
VS
если у вас источник не стримит, то батчи еще как причем
VS
ESB не в каждой компании есть, даже если компания думает, что он есть
VS
обновлять раз в день таблицы для аналитики, тоже не стриминг
VS
я уж молчу про консистентность данных между источником и хранилещем при стриминге с источника
CO
раз в день обновлять таблицы?
А зачем постоянно?
VS
очень часто вижу, как любят апдейтнуть сотку тысяч другую записей и без трансляции в ESB, а потом бизнес ломает голову, что не так...
VS
А зачем постоянно?
какие требование - такие и задачи, надо бизнесу видеть продажи с интервалом 1 минуту, будте любезны постоянно
CO
какие требование - такие и задачи, надо бизнесу видеть продажи с интервалом 1 минуту, будте любезны постоянно
Опять же писал, что нужно разделять такие вещи, зачем постоянно грузить млн
VS
почитайте про инкрементальную загрузку
PD
если у вас источник не стримит, то батчи еще как причем
Так я бы тут строил вообще от Кафки.
Входящий поток в кафку, с него в oltp, bi и ml. На bi - вертика или CH, смотря какие требования.
Входящий поток в кафку, с него в oltp, bi и ml. На bi - вертика или CH, смотря какие требования.
VS
как показывает практика, к источникам вас не допустят, а внедрять стриминг разрабам лень
VS
но в целом да, согласен полностью, главное, чтобы умные разрабы руками не лазили в источник
PD
Вот-вот. Тем более что в Кафке можно и перезапросить источник
CO
почитайте про инкрементальную загрузку
Спасибо, не слышал про такое
SS
купите Oracle Exadata - дорого, но все ваши хотелки покроет
VS
Вот-вот. Тем более что в Кафке можно и перезапросить источник
это смотря как реализуют, не всегда на прод разрешают лазить и перезапрашивать милионы записей
PG
купите Oracle Exadata - дорого, но все ваши хотелки покроет
В случае с играми с требованиями минимального отклика даже Oracle inmemory option может быть медленным
Д
Коллеги, есть вопрос по витрине. Планируется разработка витрины, в которой будет более 10 000 тысяч полей . У кого был опыт в создании такого datamart ? И как лучше ее реализовать?