Но не могу понять

какой вариант идеоматичен

подиее с бродкаст диспачером

А зачем нужен тогда gen stage, если забиваешь на demand?

Например делаешь выборку из бд, шлешь это все в консьюмера, а он уже меньшими пачками обрабатывает

Но в таком варианте есть загвоздка - больше 10к отрезается

Поэтому вариант с деманд конечно лучше

вот в этом и был вопрос выше.

но я че планирую
у меня два пайплайна по сути получается на одни и теже эвенты, фишка в том что эвенты из второго пайплайна я хочу обрабатывать очень интересными образом.

Задача получать обложки альбомов по названию трека, хочу сделать пайплайн из консьюмер_продьюсеров. как то так вижу:

ласт_фм -> spotify -> foo -> bar -> baz -> Redis

если я получаю обложку с ластфм все след стейджи просто забивают и пропускают эвент дальше,  но если я не получаю обложку с ластфм(например получаю по башке из за рейт лимита) то пытаюсь достать из спотифая и тд

я нихуя не уверен что это нормальное решение

и что генстейдж то что нужно, но мне кажется будет работать неплохо

Ну и цепочка из коробки без необходимости писать свою, как-то так

Genstage нужен для backpressure и распараллеливания - и только. Использование genstage как цепочка - это антипаттерн

Это все делается синхронно в отдельном таске и все

вотк корчое как я вижу всею хуйню в голове

                                                                 AnalyticsConsumer(диспатчит команду из эвента)-> CQRS
РедисПабсаб(ОН же продюсер) —>      ласт_фм -> spotify -> foo -> bar -> baz -> Redis

Окей, но имхо это сильно ограничивает область применения  genstage в принципе

бля телега немного сбила

А почему ты решила что его надо везде пихать?)) Вон в эрланге нету такого и 20 лет живут пацаны

Он классно заходит, когда что-то можно выгребать откуда то по запросу - например из rabbit, кафки или файла там читать

Да я не думаю так, просто есть ли реально такие задачи где нужен весь это функционал, который еще и если деманд не набрался, а продюсеру нечего больше слать, никогда не закончит обработку