Всем привет! Подскажите, пожалуйста, по стримам: допустим у меня есть топик, в него сыпяться ивенты, поверх этого топика есть стрим с окном в 5 минут. Мне нужно, чтобы к этому окну доступ имело несколько инстансов приложения. При этом, мне важен порядок сообщений, поэтому партиция одна в топике. Правильно ли я понимаю, что GlobalTable мне здесь не поможет, и единственный вариант - давать стримам на инстансах разный applicationId?

стор внутри инстанса. Теоретически можно получить к нему доступ через Interactive Query но по моему это не правильно. Стримы параллелялят партишенами и соответственно разными инстансами

а нам не надо параллелить, нам наоборот нужно только чтобы несколько инстансов видели одно и тоже окно над стримом.
А к GlobalTable получится из двух инстансов достучаться, если в топике только одна партиция?

GlobalTable не для окна же, обычно для каких-то небольших статических данных

ок.. а к окну, сформированному на одном инстансе можно получиться достучаться с другого? смотрю Javadoc, там вроде написано, что он local StateStore.. а глобальное окно как можно создать?

Окно это по сути локальная RocksDB. Достучаться то можно но по моему тут что-то с дизайном не так.

то есть вообще не стоит пытаться эту задачу на стримах решить?

я не знаю условия задачи но обращаться к WindowStor из вне по моему не очень хорошая идея. Стрим должен отработать и выплюнуть результат. Если одного инстанса не хватает, то создаем больше партишенов и запускаем больше инстансов это тру вэй

А разве разные стримы с разными app.id к будет видеть те же данные топика?
Группы другая будет. Хранилище другое.

Не?

если другая группа будут читать одну партицию но у них будет свой стор

свой, но у каждого одинаковый, верно?

Ну куда ж ты... Хотел нормально заанонсировать

Kafka connect решает ситуации с выгрузкой откуда угодно куда угодно

если одна партиция то да, но может быть не с одинаковыми данными на один и тот-же момент времени, кто-то читает быстрее кто-то медленнее

Вот видите что бывает пока одмин спит 🙈

Супер. А как поток с кафки делить на части и эти части отдельно в асинхронном режиме превращать в xml имеется опыт? Есть необходимость именно делить на чанки поток. Что то наподобие как Camel concurentProducer-ов делает

@gamussa смотрел твои видосы, супер. Очень доходчиво

Сорян.  А мне с трёх мест скинули. А тут тишина.

Больше не буду

Можно отдавать windowedKeystore . А вообще какая задача концептуально?