Size: a a a

2019 December 17

СХ

Старый Хрыч in Data Engineers
а там тоже всё на mssql и размер под пб
источник

DY

Dan Y in Data Engineers
в ovirt это реализовано на postgresql, раньше туда же прикручивался jasper reports, сейчас не знаю. Но ETL довольно простой - эвенты из системы пишутся в DWH базу, дальше процесс ведет аггрегацию по часам, потом дням, потом неделям и месяцам, и все это скармливается в джаспер для репортов и нескучных графиков.
источник

DY

Dan Y in Data Engineers
код открытый, можно посмотреть как там это делают
источник

СХ

Старый Хрыч in Data Engineers
Dan Y
в ovirt это реализовано на postgresql, раньше туда же прикручивался jasper reports, сейчас не знаю. Но ETL довольно простой - эвенты из системы пишутся в DWH базу, дальше процесс ведет аггрегацию по часам, потом дням, потом неделям и месяцам, и все это скармливается в джаспер для репортов и нескучных графиков.
у овирт откуда много данных?
источник

O

Oleg in Data Engineers
Старый Хрыч
фсрар пробовал, но в итоге отказался от такого варианта, перейдя на выборку по sql серверу и переносу данных в vertica
В моем случае там и 20тб не наберётся,  а что о них не получилось, не знаете?
источник

DY

Dan Y in Data Engineers
Старый Хрыч
у овирт откуда много данных?
система с потенциально сотнями хостов и десятками тысяч VM, генерирующая эвенты в изрядном количестве
источник

СХ

Старый Хрыч in Data Engineers
Oleg
В моем случае там и 20тб не наберётся,  а что о них не получилось, не знаете?
я там другой частью занимался, поэтому мало знаю, но например 1 olap по продаже марки в конкретном регионе за месяц делается час....
источник

СХ

Старый Хрыч in Data Engineers
если прямо через mssql
источник

DY

Dan Y in Data Engineers
Старый Хрыч
я там другой частью занимался, поэтому мало знаю, но например 1 olap по продаже марки в конкретном регионе за месяц делается час....
это потому что ты неправильную базу поставил, дядя федор ;)
источник

СХ

Старый Хрыч in Data Engineers
Dan Y
это потому что ты неправильную базу поставил, дядя федор ;)
🙄увы, я в 2003 году там работать не мог
источник

СХ

Старый Хрыч in Data Engineers
когда выбирали стек и базы
источник

DY

Dan Y in Data Engineers
в 2003 правильной еще не было
источник

СХ

Старый Хрыч in Data Engineers
Dan Y
в 2003 правильной еще не было
а маркировка алкоголя уже была
источник

RI

Rustam Iksanov in Data Engineers
А какая аналитика требуется? Что-то вроде метабейза не подойдет?
источник

O

Oleg in Data Engineers
Метабейз же это вроде bi инструмент? Меня пока сторадж надо выбрать и движок для запросов
источник

O

Oleg in Data Engineers
Лучше два в одном
источник

O

Oleg in Data Engineers
Аналитика - все обычно, агрегация, выборка по ключу, по набору ключей, по диапазону и тп
источник

A4

Anon 43 in Data Engineers
Кто-нибудь знает?
источник

GP

Grigory Pomadchin in Data Engineers
Anon 43
Кто-нибудь знает?
CP
источник

GP

Grigory Pomadchin in Data Engineers
в чем суть кап теоремы? напиши ее тут)
источник