AZ
ну вот Терадата даже небольших размеров держит два десятка интерактивных пользователей на сильно больших объемах, 95 процентиль для тактических запросов в районе 2-5 секунд вроде
Size: a a a
2020 November 03
AZ
Al T
я с гринплам не работал - он может быстро-быстро?
я не знаю как там с ин-мемори, может прикрутили, но в планах было вроде
AZ
Al T
типа вот например пивот табличка и ее по всякому в рилтайме обновлять
а какой поток обновлений?
AT
обновления можно будет пачками я думаю и даже вариант с перезаписыванием датасета полностью будет наверно подходящим. в пивот табличке всегда почти будут все 50-60 колонок то есть там в итогде будет что-то типа select * from a where ... group by ... limit X,Y
AT
ну вот Терадата даже небольших размеров держит два десятка интерактивных пользователей на сильно больших объемах, 95 процентиль для тактических запросов в районе 2-5 секунд вроде
а небольшой размер это сколько ориентировочно
AZ
Al T
обновления можно будет пачками я думаю и даже вариант с перезаписыванием датасета полностью будет наверно подходящим. в пивот табличке всегда почти будут все 50-60 колонок то есть там в итогде будет что-то типа select * from a where ... group by ... limit X,Y
а джоины будут?
AT
Джойнов вроде бы не планируется
AZ
тогда наверное можно попробовать проскочить без РСУБД
AT
веруете в spark+livy для такого случая?
AZ
Al T
веруете в spark+livy для такого случая?
не очень, но не от хорошей жизни видимо планируете их использовать
AZ
а на облаке или свои железки?
AT
ну я сам не верую, если честно. в AWS облаке
AZ
Al T
ну я сам не верую, если честно. в AWS облаке
тогда delta engine это то что доктор прописал
AT
а как же 2 сек на query?
AZ
у них кэш в DBIO, и кругом заявляют subsecond результаты, как минимум попробовать можно
AZ
если на EMR то придется в локальный HDFS пихать, поверх S3 точно не полетит
AT
да
AT
ок спасиб Антон
AZ
на каких-нибудь i3.16xlarge все должно быть неплохо, но вопрос в вашем бюджете
AZ
а терадата средняя будет штук 6-10 m5.12xlarge, но ради одного такого кейса (особенно без джоинов) это оверкилл