PD
А как в Спарке быстро точечно обновлять данные?
А зачем в вычислительном гриде точечно данные обновлять?
Size: a a a
2020 February 06
DT
Если в качестве кэша использовать, и писать из очереди сразу и в прод, и в игнайт
Z
ну классически селишь задачу максимально близко к данным.
DT
Если данные быстро обновляются, то не хочется ставить маленький TTL, и постоянно лезть в боевую базу при чтении из игнайта. Тогда можно в игнайте параллельно на лету обновлять данные
DT
А в Спарк ты один раз поднял данные с диска — и периодически обновляешь с задержкой полностью. Может, есть ещё способы заставить данные в спарке быстро обновляться?
Z
про задачи для игнайта, вы сформулируйте задачу, а я попробую ответить, зайдет или нет :)
DT
Есть веб-форма, куда нужно подтягивать клиентские данные при ее открытии. Данные лежат в базе. Нужно складывать их в кэш, и читать оттуда по возможности при последующих запросах
Z
ну вообще ваша задача про кеширование ) тут уже говорили что как кеш можно так же как и редис :)
DT
Это одна задача:) а ещё задача — отдавать на фронт аналитику небольшую по клиенту. Расчёт аналитики время занимает, и должен учитывать свежие данные
Z
ну пока не вижу противопоказаний )
DT
А игнайт и ок с этим справляется!
DT
Но у ребят по отзывам падал и разваливался кластер
DT
А ещё мета рассыпалась
DT
Это одна задача:) а ещё задача — отдавать на фронт аналитику небольшую по клиенту. Расчёт аналитики время занимает, и должен учитывать свежие данные
Забыл уточнить, что расчёт очень хочется делать не на боевой базе. И поближе к данным. Поэтому можно сделать в игнайте
PD
Это одна задача:) а ещё задача — отдавать на фронт аналитику небольшую по клиенту. Расчёт аналитики время занимает, и должен учитывать свежие данные
А это я бы на CH делал бы.
Z
ну бывало что и разваливался и мета да, но полечено, в 2.7.6 уже норм а в 2.8 будет лучше :)
DT
А это я бы на CH делал бы.
КХ не умеет в апдейты
PD
Как это, не умеет? А AggregateMerge на что.
PD
Т.е. хранить актуальный стейт по потоку изменений сущностей там легко.