Я кроме конечного автомата в агенте/редисе не вижу вариантов, мб более опытные господа подскажут

Я думал стейт поднять на стороне продюсера. Редис как-то сложно.

Можешь пояснить почему так?

Редис не так сложно, как кажется, плюс у него есть прикольные штуки для работы в состоянии гонки. Думаю, если два потока могут начать работать с одними данными, это самое то

Пока не очень хочу отдельный сервис ставить. Стейт не большой будет.

И проблема не в том что два потока могут работать с одними данными.

Кролик ее решает.

Консумер какое-то время работает с данными, пока не обработает не маркирует их как обработанные.

+ в очереди могут оставаться какие-то сообщения еще не вытянутые от туда.

Получается чтобы избежать дубликатов мне нужно дождаться двух событий:
1.  Подождать пока консумеры обработают и промаркируют все данные как выполнененые.
2. Дождаться чтобы в очереди было 0 сообщений

Только после этого я могу вгрузить новую партию сообщений.

Я думаю это решить путем поднятия стейта на продюсере(чтобы он сверял на уникальность новые сообщения)  и грузил только те которых ранее там не было.

Но @Virviil говорит это нужно делать на консумере

Правильно говорит

Консумить надо идемпотентно или отказывайся от шины и запили нормальный, человеческий монолит без мозгогрызни

Да оно монолит просто горизонтально масштабируется.

В чем риски создания стейта на продюсере, можете конкретно сказать?

Он упадет и ты его потеряешь

Cпасибо. Значит надо реально какой-нибудь Redis поднять.

Он упадет и ты его потеряешь :)

Подозреваю, что вопросы возникают от того, что это выглядит как попытка решить несуществующую проблему. Почему нужно избегать дубликатов в очереди?

Ну или существующую, но не ту

Его в кластере нельзя задеплоить? Просто отказывать от шины не хочется совсем 🙂

Эти данные очень не желательно обрабатывать по два раза.