Коллеги, подскажите пжл как можно в akka streams реализовать такой паттерн:
- аккумулируем информацию из батча сообщений кафки (например из 1000)
- по истечении таймаута или превышении размера батча сплашим инфу в какое-нить хранилище
- после этого коммитим в кафку
Важно: таймаут нужно проверять не при поступлении сообщений, а отдельно, т.к. между сообщениями может быть большой перерыв. Например,
timeout=10минут
batchSize=1000
если мы по истечении 2-х минут собрали 3 сообщения, а потом новых сообщений не приходит 20 минут, то на 10-й минуте мы обязаны сделать сплаш 3-х сообщений и перезапустить батч.
Делаю вот таким образом: