хуйня какая та у нас)

У вас инфра онпремис или клауд?)

хуйня какая та у нас)

у них сообщение 3 раза читается!!11

у них сообщение 3 раза читается!!11

у них сообщение 3 раза читается!!11

Ну вообще так оно быстрее доставится ж

потому каждый инстанс находится в разной консьюмер группе

Всем привет, я опять со своей болью.

Есть сервис который читает сообщения из кафки и отправляет его клиенту по веб-сокету. Недоставленные сообщения сервис хранит у себя в памяти пока действует ttl. Отправленые же сообщения он удаляет после получения потверждения  от клиента (гарантийная доставка).

Дело в том что инстансов этого сервисе очень много и сообщений в кафке много, но одно сообщение предназначено для одного клиента. То есть клиент создает соединение с каким определенным инстансом сервиса, поэтому каждому инстансу приходится читать копию сообщения, чтобы можно было отправить его клиенту. Из-за этого в каждом инстансе становится очень много сообщений, которые доставить невозможно потому что соединение с нужным клиентом только на одном инстансе.
Чтобы сервис не упал из-за нехватки памяти мы сделали ограничение на максимальное количество сообщений в сервисе. Но из-за этого у нас увеличилось время доставки сообщения клиенту (лаг в кафке около 1500 сообщений).

Так вот думаем не хранить сообщения в памяти а хранить в бд - она конечно не реизновая, но в нее гораздо больше влезет. Можем чистить бд раз в день.

Как считаете норм будет или нет?

Shukurdin смотри за руками - отказываешься от гарантии доставки в обмен на скорость и доступность)