AH
Shukurdin Aidarov
пипец всем сообщениям(
хорошие гарантии!11
Size: a a a
2020 December 09
AH
прям топчик, да
VS
Сберфуд, шоле?
AH
Shukurdin Aidarov
Всем привет, я опять со своей болью.
Есть сервис который читает сообщения из кафки и отправляет его клиенту по веб-сокету. Недоставленные сообщения сервис хранит у себя в памяти пока действует ttl. Отправленые же сообщения он удаляет после получения потверждения от клиента (гарантийная доставка).
Дело в том что инстансов этого сервисе очень много и сообщений в кафке много, но одно сообщение предназначено для одного клиента. То есть клиент создает соединение с каким определенным инстансом сервиса, поэтому каждому инстансу приходится читать копию сообщения, чтобы можно было отправить его клиенту. Из-за этого в каждом инстансе становится очень много сообщений, которые доставить невозможно потому что соединение с нужным клиентом только на одном инстансе.
Чтобы сервис не упал из-за нехватки памяти мы сделали ограничение на максимальное количество сообщений в сервисе. Но из-за этого у нас увеличилось время доставки сообщения клиенту (лаг в кафке около 1500 сообщений).
Так вот думаем не хранить сообщения в памяти а хранить в бд - она конечно не реизновая, но в нее гораздо больше влезет. Можем чистить бд раз в день.
Как считаете норм будет или нет?
Есть сервис который читает сообщения из кафки и отправляет его клиенту по веб-сокету. Недоставленные сообщения сервис хранит у себя в памяти пока действует ttl. Отправленые же сообщения он удаляет после получения потверждения от клиента (гарантийная доставка).
Дело в том что инстансов этого сервисе очень много и сообщений в кафке много, но одно сообщение предназначено для одного клиента. То есть клиент создает соединение с каким определенным инстансом сервиса, поэтому каждому инстансу приходится читать копию сообщения, чтобы можно было отправить его клиенту. Из-за этого в каждом инстансе становится очень много сообщений, которые доставить невозможно потому что соединение с нужным клиентом только на одном инстансе.
Чтобы сервис не упал из-за нехватки памяти мы сделали ограничение на максимальное количество сообщений в сервисе. Но из-за этого у нас увеличилось время доставки сообщения клиенту (лаг в кафке около 1500 сообщений).
Так вот думаем не хранить сообщения в памяти а хранить в бд - она конечно не реизновая, но в нее гораздо больше влезет. Можем чистить бд раз в день.
Как считаете норм будет или нет?
используй кафку вместо памяти коли она у вас есть
AH
обработал сообщение, если доставил - збс. недоставил - кинул в кафку
н
советовать кафку на дотнете
M
используй кафку вместо памяти коли она у вас есть
+
А чтобы инстансы только своё читали можно как-то наверное хитро по партициям раскидать (эт чисто теория, кафку мало трогал)
А чтобы инстансы только своё читали можно как-то наверное хитро по партициям раскидать (эт чисто теория, кафку мало трогал)
SA
А если сервис упадет, что станет с гарантиями доставки?
Там есть сомнительная попытка увеличить надежность, путем сохранения всех сообщений в редис в момент падения.
AH
Shukurdin Aidarov
Там есть сомнительная попытка увеличить надежность, путем сохранения всех сообщений в редис в момент падения.
извини, тяжело смеяться
AH
Вот да, есть же уже Кафка
SA
обработал сообщение, если доставил - збс. недоставил - кинул в кафку
Тогда количество сообщений будут возрастать по экспоненте.
Если есть три инстанса, то одно сообщение прочитатают в 3-х экземплярах. В лучшем случае 2 из них опять пойдту в кафку.
Если есть три инстанса, то одно сообщение прочитатают в 3-х экземплярах. В лучшем случае 2 из них опять пойдту в кафку.
SA
извини, тяжело смеяться
😂
AH
Shukurdin Aidarov
Тогда количество сообщений будут возрастать по экспоненте.
Если есть три инстанса, то одно сообщение прочитатают в 3-х экземплярах. В лучшем случае 2 из них опять пойдту в кафку.
Если есть три инстанса, то одно сообщение прочитатают в 3-х экземплярах. В лучшем случае 2 из них опять пойдту в кафку.
но... ведь... есть топики и группы...
AH
уапще неясно!!1
RB
Shukurdin Aidarov
Там есть сомнительная попытка увеличить надежность, путем сохранения всех сообщений в редис в момент падения.
У вас инфра онпремис или клауд?)
SA
У вас инфра онпремис или клауд?)
хуйня какая та у нас)