А что может эту тему на livestream взять?

Разложили по полочкам так сказать?

Мне бы было интересно. Каждый раз когда заходит речь про каноничный стримовый подход очень мало говорится про ситуации когда ну сложно так сделать. База не влезает в память консьюмеров, даже на диск. Слишком много сервисов и для каждого держать копию материальзованной бд - дорого. И другие причины по которым кафка перестает единым источником данных.
Обсудить такие исключения и их решения было бы очень интересно.

Очень понравилась серия из трех лекций   Microservices & Apache Kafka: An Online Talk Series на этот счет. Не уверен доступны ли они где-то сейчас, после презентации.

Надо глянуть

Но там тоже про варианты выходящие «за идеал» только совсем чуть-чуть. В основном об идеальном мире речь. Что для лекций впрочем нормально.

Вот ссыль которую высылали зарегистрировавшимся, похоже все еще доступно: https://www.confluent.io/landing-page/microservices-online-talk-series/

плюсую)

Было бы интересно )

тема очень актуальна, плюсую и спасибо за стримы!

привет Вячеславу )))

+

Добрый день. Подсчитываю в стриме количество мессиджей по условию.  Топик не имеет исторических данных, они лежат BigQuery.  Есть ли возможность как-то на этапе старта стрима подсунуть ему предефайненый стейт стор который уже будет содержать исторические данные из BQ.

Оффсеты генерятся после первого сообщения?

Не понял до конца вопрос

Мой?

Да

Только что созданный топик с 1 партишеном. В нем нет сообщений

Косьюмер плюется что не может зафетчить оффсеты

Вопрос: когда генерятся оффсеты

Это не вопрос на твой вопрос, а просто вопрос