PG
Здесь ещё вопрос - надо общее представление вообще или то, что учитывает современные требования типа биг даты?
DW 2.0 The Architecture for the Next Generation of Data Warehousing
Насколько помню, это от Инмона
Size: a a a
2019 December 03
K
Надо общее, наверное. Чтобы избежать тривиальных ошибок.
Датаволт не подходит, потому что всё грузится онлайн. Нет времени на промежуточные объекты.
Датаволт не подходит, потому что всё грузится онлайн. Нет времени на промежуточные объекты.
GK
GK
А по моделированию лучше вот эта книга: https://www.ozon.ru/context/detail/id/139953550/
GK
Но это основы
FL
Kirill M
Надо общее, наверное. Чтобы избежать тривиальных ошибок.
Датаволт не подходит, потому что всё грузится онлайн. Нет времени на промежуточные объекты.
Датаволт не подходит, потому что всё грузится онлайн. Нет времени на промежуточные объекты.
Если всё онлайн, то надо не про хранилища данных читать, а про потоки. Тут зайдёт Building data intensive applications.
K
Там time series бд, в которую всё время льётся. Ей надо нарисовать какую-нибудь модель
K
Ну ок
PG
Kirill M
Там time series бд, в которую всё время льётся. Ей надо нарисовать какую-нибудь модель
Если не нужна одновременно аналитика большого объёма, то базис, данный Геннадием, хорошо пойдет
2019 December 04
A
Всем привет. Подскажите, что можно использовать для персистентного хранения актуальных данных? Каждую секунду может приходить несколько десятков тысяч метрик от устройств. Требуется в любой момент времени получать последнюю метрику по какому-то конкретному устройству. Pg сейчас используется для этого, но для этой задачи от не очень походит.
Д
Influxdb?
Д
Ну или кластер кликхауза, но там вроде кворум коммита нет
A
Influxdb?
Посмотрю, Спасибо
GK
Кстати, да. Немного отстал. Раньше порекомендовал бы Cassandra. Сценарий хорошо ложится на wide row модель.
Правда, нужно учитывать ограничения на число колонок.
Правда, нужно учитывать ограничения на число колонок.
TL
Всем привет. Подскажите, что можно использовать для персистентного хранения актуальных данных? Каждую секунду может приходить несколько десятков тысяч метрик от устройств. Требуется в любой момент времени получать последнюю метрику по какому-то конкретному устройству. Pg сейчас используется для этого, но для этой задачи от не очень походит.
посмотрите, вдруг пригодится
OP
Всем привет. Подскажите, что можно использовать для персистентного хранения актуальных данных? Каждую секунду может приходить несколько десятков тысяч метрик от устройств. Требуется в любой момент времени получать последнюю метрику по какому-то конкретному устройству. Pg сейчас используется для этого, но для этой задачи от не очень походит.
Greenplum? Будет легко перейти с пг, и данные перенести просто, и в кодесах можете ничего не менять - все будет так же работать (если захотите еще больше пропускной способности, то перепишите под gpfdist пайпы).
OP
Ну все зависит от основных запросов все таки
A
Ну или кластер кликхауза, но там вроде кворум коммита нет
КХ используем, но для других задач. ReplacingMergeTree конечно можно было бы использовать, но не уверен что хорошая идея из КХ тянуть по одной записи до 2-3к rps.
Д
КХ используем, но для других задач. ReplacingMergeTree конечно можно было бы использовать, но не уверен что хорошая идея из КХ тянуть по одной записи до 2-3к rps.
вот как раз статейку нашел https://www.altinity.com/blog/clickhouse-for-time-series
