Есть ли смысл делать на кафке request-reply? У кого есть опыт?

У нас. Я делал доклад на последнем High Load. Работает, но есть ограничения.

Здесь?
https://youtu.be/7cqS4zAlU50?t=11944

Да

Спасибо, посмотрю 👍🏻

кафководы, есть кто, кто одновременно пользует kafka-exporter (https://github.com/danielqsj/kafka_exporter) и jmx-exporter?
есть стойкое желание оставить только jmx-exporter, т.к. он все равно нужен, но, похоже, из него можно достать не все, что можно из kafka-exporter-а. а два epxporter-а - похоже на какой-то overhead

использую два
они действительно не взаимозаменяемы)

зато дашборды информативны)

а есть ли какие-то предпосылки, чтоб селить kafka-exporter рядом с каждым из экземпляров брокера? вроде одного exporter-а должно быть достаточно, но сталкивался с ситуациями, когда для других distributed-софтин можно было увидеть разное число инстансов в зависимости от того, с какой ноды производился опрос (a-la сплит-брейн)

Ну, это не сплит брейн. Это скорее особенности получения метрик _в разные моменты времени_ с _разных источников_

Если рассматривать анализ в плане нагрузки, то думаю есть.
Особенно если у тебя партиции распределятся неравномерно в какой-то момент, например

возможно, потому и написал - "a-la", но когда  кол-во брокеров не совпадает с ожидаемым на разных нодах - при любом раскладе - подозрительно

сама логика промитиуса предпосылка - у тебя есть метрика типа того же up например - с помощью которой ты автоматически про сетевые проблемы узнаешь

так-то up-метрику и jmx-exporter вернуть может, а сам kafka-exporter ломится не обязательно в локальный узел брокера (и даже не обязан жить у него под ногами), а по протоколу кафки просит у нее метадату. а то, что передается в параметре --kafka.server - по сути это seed boker (которых хоть все можно прописать)

и для jmx-exporter-а - up метрика даже логична, он-то вешается на локальный узел, а что показывает up метрика у kafka-exporter-а? вот подцепились мы к брокеру через локальный seed узел, получили пару раз метрики, а потом локальный узел кафки взял и полег (jvm-процесс сдох). что скажет на это up метрика kafka-exporter-а (который успел узнать о других узлах)? для кафки ведь вылет узла кластера - дело житейское. или, если было передано несколько узлов через --kafka.server?

В исходники смотреть. Это даст максимально гарантированный ответ

смотрел, потому и интересуюсь, если ли предпосылки в нескольких kafka-exporter-ах

up метрика в общем случае самим промом генерится, на нее завязываться в случае kafka-exporter-а, не правильно, она и будет тогда показывать, жив ли экспортер, а не узел кафки

Да, насчёт ап все так

Но логика какая - у тебя если Кафка сдохла - ты получишь Алерт. Если сдох экспортер - ты получишь Алерт и пойдешь чинить экспортер вне зависимости от живости Кафки. Как бы автопилот с завязанными глазами такое себе

согласен, но дохлость узла кафки тогда уж по up метрике jmx-exporter-а определять, а kafka-exporter-а и одного экзепляра, видимо, достаточно (при условии, что ему скормлены несколько/все узлы кафки в кач-ве seed-ов)