ЮХ
Может в самом конфиге коннектора как то номер схемы можно указать?
Нашел deep-dive. Пошел изучать
https://www.confluent.io/blog/kafka-connect-deep-dive-converters-serialization-explained/#choosing-serialization-format
Size: a a a
2020 October 29
ЮХ
АВ
Всем привет, мб кто нибудь знает, когда откатывается отправка сообщение в kafka при неперехваченным exception на @Transactional-метод spring boot?
VG
Evgeny Rachlenko
Всем привет. Возник вопрос как правильно готовить kafka для kubernetes. Было бы здорово почитать рекомендации. Все у меня работает, но уверенности пока нет. Особенно беспокоят микро-сервисы которые выкатываясь вместе с kafka в kubernetes иногда застревают при первом обращении к ней и не отмерзают, пока не сделаешь им рестарт. То ли кафка не успевает подняться так же быстро как они , и им бы нужно было бы прописать dependencies или как то по другому научить ожидать. То ли самой кафке нужно прописать какой нибудь readiness check. Как правильно решают такие конфликты ?
ЮХ
Нашел deep-dive. Пошел изучать
https://www.confluent.io/blog/kafka-connect-deep-dive-converters-serialization-explained/#choosing-serialization-format
https://www.confluent.io/blog/kafka-connect-deep-dive-converters-serialization-explained/#choosing-serialization-format
Нет тут решения проблемы
ЮХ
Куда еще можно копнуть?
Сериализация на стороне рест вроде отрабатывать, так как через avro консюмер данные нормально считываются.
Если пытаюсь после этого через jdbc sink коннектор загрузить данные в postgres получаю ошибку при попытке выполнить вставку
Сериализация на стороне рест вроде отрабатывать, так как через avro консюмер данные нормально считываются.
Если пытаюсь после этого через jdbc sink коннектор загрузить данные в postgres получаю ошибку при попытке выполнить вставку
ЮХ
Если грузить через jdbc source и потом в постгрес через jdbc sink загружаю, то все ок.
Как будто ещё какой то идентификатор передается
Как будто ещё какой то идентификатор передается
NK
🎃 Всем привет и c наступающим Halloween! На неделе сделал стрим с повтором своего воркшопа со SpringOne - Event-Driven Microservices with Spring BOOOt and Confluent Cloud.
Запись уже доступна (там есть таймкода, если лень все смотреть) https://youtu.be/E0ORr1nA6qA
Код и инструкции - https://github.com/confluentinc/demo-scene/tree/master/event-driven-microservices-workshop
Запись уже доступна (там есть таймкода, если лень все смотреть) https://youtu.be/E0ORr1nA6qA
Код и инструкции - https://github.com/confluentinc/demo-scene/tree/master/event-driven-microservices-workshop
ER
:)) здорово :))))))
ER
Добавил в избранное :)
VA
Вечер добрый! Есть какой-нибудь механизм back pressure в kafka streams или в spring cloud stream?
Reactor не совсем подходит, так как он забирает из топика все сообщения и потом раздает с заданным delay. То есть нужно забирать из топика сообщения по заданному таймауту, чтобы точно контролировать тпс.
Reactor не совсем подходит, так как он забирает из топика все сообщения и потом раздает с заданным delay. То есть нужно забирать из топика сообщения по заданному таймауту, чтобы точно контролировать тпс.
VG
Вечер добрый! Есть какой-нибудь механизм back pressure в kafka streams или в spring cloud stream?
Reactor не совсем подходит, так как он забирает из топика все сообщения и потом раздает с заданным delay. То есть нужно забирать из топика сообщения по заданному таймауту, чтобы точно контролировать тпс.
Reactor не совсем подходит, так как он забирает из топика все сообщения и потом раздает с заданным delay. То есть нужно забирать из топика сообщения по заданному таймауту, чтобы точно контролировать тпс.
Зачем? Кафка же backpressure
SP
Сервис нахватает и получает OOM
SP
разве так не бывает?
AD
Вечер добрый! Есть какой-нибудь механизм back pressure в kafka streams или в spring cloud stream?
Reactor не совсем подходит, так как он забирает из топика все сообщения и потом раздает с заданным delay. То есть нужно забирать из топика сообщения по заданному таймауту, чтобы точно контролировать тпс.
Reactor не совсем подходит, так как он забирает из топика все сообщения и потом раздает с заданным delay. То есть нужно забирать из топика сообщения по заданному таймауту, чтобы точно контролировать тпс.
как понимаю нужен функционал delay message из ServiceBus ?
SP
Концептуально задача такая, есть Кафка и сервис, который берет событие и дополняет его инфой, для чего делает условно rest в другую систему. У системы есть SLA в виде ограничения tps
SP
у внешней