V
Size: a a a
2020 February 25
АБ
Угадайте что случилось
EI
Добрый день!
Практический вопрос по стеку Spring - Apache Camel - Kafka. Используется Producer API.
Документация по camel-kafka какая-то очень сухая и почти без примеров, в инете тоже практически самые простейшие how-to.
есть скоуп проблем, в основном при потере соедиения,
например, на каждый роут camel создается по соединению к кафке, и при обрыве соединения вся эта братия начинает долбиться к брокеру.
Может у кого есть успешный опыт внедрия этого стека? или наоборот?
Практический вопрос по стеку Spring - Apache Camel - Kafka. Используется Producer API.
Документация по camel-kafka какая-то очень сухая и почти без примеров, в инете тоже практически самые простейшие how-to.
есть скоуп проблем, в основном при потере соедиения,
например, на каждый роут camel создается по соединению к кафке, и при обрыве соединения вся эта братия начинает долбиться к брокеру.
Может у кого есть успешный опыт внедрия этого стека? или наоборот?
А вы бы какое поведение хотели при недоступности брокера? Можно обработать эксепшн и написать свою логику.
В целом мы использовали, но там где поток довольно большой (от 10k сообщений в секунду), оно не справляется. В итоге перешли на просто KafkaTemplate из Spring.
В целом мы использовали, но там где поток довольно большой (от 10k сообщений в секунду), оно не справляется. В итоге перешли на просто KafkaTemplate из Spring.
SN
задача довольно простая - транзакционно переложить из очередей activemq в топики kafka.
поток сообщений совсем небольшой
поток сообщений совсем небольшой
VG
задача довольно простая - транзакционно переложить из очередей activemq в топики kafka.
поток сообщений совсем небольшой
поток сообщений совсем небольшой
Коннектор для ребита в Кафку есть
N
Коллеги, на двух нодах в кластере иногда подскакивает log flush time, при этом какой-то проблемы с дисковой подсистемой не наблюдаю.
Убрал параметр log.flush.interval.ms=5000, но все равно, значение иногда аккумулируется, а иногда резко подскакивает.
Куда копать?
Убрал параметр log.flush.interval.ms=5000, но все равно, значение иногда аккумулируется, а иногда резко подскакивает.
Куда копать?
N
Надо определить кто ещё пишет в кэш
N
Кроме Кафки , если вы уверены , что это не она столько пишет
_
задача довольно простая - транзакционно переложить из очередей activemq в топики kafka.
поток сообщений совсем небольшой
поток сообщений совсем небольшой
2020 February 26
SB
A
Кто тут ещё latency интересуется? Лонгрид: https://www.confluent.io/blog/configure-kafka-to-minimize-latency/
Спасибо:)
Тема интересная
Тема интересная
N
Кто сталкивался с такой ситуацией. Есть 3 работающих зукипера. Добавляю ещё 3 и такая конфигурация не взлетает.а если к 3 добавляю 2, то все работает
AH
Nikolay
Кто сталкивался с такой ситуацией. Есть 3 работающих зукипера. Добавляю ещё 3 и такая конфигурация не взлетает.а если к 3 добавляю 2, то все работает
Так их должно быть нечётное кол-во
N
Но ведь в четном тоже можно выбрать. Должны согласится 4 из 6.
И
добавляете сразу три или по одному?
N
Сразу 3
И
ну вот в момент добавления и невозможно получить консенсус
И
нет кворума
N
Помню , что читал , что четное бессмысленно . Так как у 5 и 6 должно рабочих быть 4 . Тут согласен.