“При этом каждый раз пользователю должен выдаваться параграф из документа, который имеет минимальное количество параграфов для проверки (максимальное прогресс).”

> При этом каждый раз пользователю должен выдаваться параграф из документа, который имеет минимальное количество параграфов для проверки (максимальное прогресс).

ну то есть вот это все портит так как у тебя уже не выйдет эти штуки на партиции подробить. Выходит одна жирная очередь с книгами отсортированными по параграфам. А дальше можно лишь говорить о том что "консюмеры" этой очереди будут тупо запрашивать сообщеньки (это быстро должно быть) и очередь должна помечать кто запросил параграф. курсор для чела хранить.

Но тут мне кажется стоит этим пожертвовать и не соблюдать это правило строго.

ну так у тебя для ВСЕХ пользователей одна и та же очередь, или я туплю?

либо так либо наоборот. По сути у тебя кипиш будет в "голове" очереди, считай это такой вот sliding window агрегат)

Не мой вопрос) Никитин.

Можно думаю не особо строго. Главное максимизировать скорость обработки документов.

ну если максимизировать скорость распределения то это одна очередь на все параграфы + компитинг консюмеры

Вот мой вариант выше как раз про eventual consistency в этой части

без всей этой шляпы с агрегатами.

Если 1000 пользователей делают запрос, и для них для всех один и тот же документ будет следующим, что делать?

Я не очень понял вариант решения

ну то есть в любом случае принятие решения "что следующее" должно быть однопоточным...

тогда можно избежать локов и за счет этого сильно увеличить пропускную способность.

ну а если совсем плохо все - можно разделить на партиции (отдельные очереди) по принципу "4 партиции что бы увеличить пропускную способность системы - распределять по хэшу"

Ну да, в любом случае нужен  счётчик у пользователя, и как-то искать «следующую» книгу. То есть в любом случае какой-то связанный список книг нужен

счетчик у пользователя не понял зачем нужен...

Если не останется параграфов? То фейл.  Но можно по разному сделать

там от вероятности надо расчитывать - если вероятность низкая то это ок - ретраи справятся

Я имею в виду хранить номер потенциально следующего документа (если он ещё не закончен)