Так они не приходят 🤷‍♂️

вот выступал бы на джокере, пришли бы!

Я буду на джокере приглашенным экспертом на докладе про тестирование стримов. Кстати неплохо было бы об этом написать в канал

о, супер

Но буду на devoops

Да уж, неплохо бы написать :-)

Кстати, мы вроде её и используем, по крайней мере в тестах docker-образ confluentinc/cp-kafka - наверно, и на проде тоже он... А что, есть ещё другая Кафка, не от Confluent? ))

Cp-kafka это oss Кафка только собранная нами. Есть ещё cp-server - это Энтерпрайз проект в котором помимо Кафки есть наши платные плагины - cluster linking, tiered storage, вот это все

В сторону Schema Registry стали смотреть, поскольку есть желание собрать информацию о топиках и форматах летающих по ним json'ов в едином удобном инструменте, как минимум чтобы понимать и документировать, что, откуда и куда. Архитекторы посмотрели и пришли к выводу, что без Control Center, который в платной версии, Schema Registry нам мало чем поможет. Основной кандидат - AsyncApi, но архитекторам он показался немного "сырым".

Хренасе, а что изменилось? Помнится, Вик меня сцаными тряпками чуть со стрима не выгнал за простое упоминание скалы и сказал, что это его стоп-слово вообще (полезная инфа, кстати).

Не знаю как одно другому мешает

Все так 😊

Спасибо что приходил на стрим

Нет проблем ;) Было б время на всё.

Ох блин, и не говори

Надо стримы по ночам делать. В локдауне с ребёнком моё самое свободное время теперь.

Ну 7 или 8 по МСК и так

Добрый день коллеги. Недавно работаю с Kafka и столкнулся с проблемой.
Загружаю данные из Hive в Kafka (через KafkaStorageHandler).
https://hastebin.com/potonayasi.sql
Читаю стрим и провожу предварительные преобразования. Далее группирую по ключу и провожу агрегацию - получаю на выходе KTable (то что не пишу результат в какой то топик так пока что задумано).
https://hastebin.com/apehovuqow.scala
При этом падает exception:
https://hastebin.com/akecihurox.apache
Просто чтения из стримов, обработка и записи в топики работает.
Кто-нибудь сталкивался с подобными ошибками?

Kafka ставил из docker-compose по этому мануалу:
https://docs.confluent.io/current/tutorials/examples/clickstream/docs/index.html?utm_source=github&utm_medium=demo&utm_campaign=ch.examples_type.community_content.clickstream

Помогла очистка - cleanUp()