VC
А можно доку где учат как настроить jmx для коннектора?
Size: a a a
2021 January 13
VC
Если есть
ЮХ
А можно доку где учат как настроить jmx для коннектора?
У себя использую пока что только сбор метрик для графаны кафки.
По коннекторам такой мониторинг в планах.
По самой кафке сделал пока что по аналогии как тут:
https://github.com/Mousavi310/kafka-grafana
По коннекторам такой мониторинг в планах.
По самой кафке сделал пока что по аналогии как тут:
https://github.com/Mousavi310/kafka-grafana
VC
Спасибо
ЮХ
На выходе в графане дашборд, по которому могу например по отдельному топику видеть нечто подобное
ЮХ
Картинки запрещены, так что не могу показать, что вижу)
RZ
привет
есть какой то готовый тул, чтобы эмулировать нагрузку на кластер без написания велосипедов?
например 10 топиков, на каждый топик натравить 10 пролюсеров и 10 консюмеров
есть какой то готовый тул, чтобы эмулировать нагрузку на кластер без написания велосипедов?
например 10 топиков, на каждый топик натравить 10 пролюсеров и 10 консюмеров
ЮХ
А стандартные утилиты типа kafka-producer-perf-test и kafka-consumer-perf-test
Не подойдут?
Не подойдут?
H
А стандартные утилиты типа kafka-producer-perf-test и kafka-consumer-perf-test
Не подойдут?
Не подойдут?
они подходят, просто я хочу параллельно запускать пачку продюсеров для каждого топика
ну можно это конечно руками делать, но лучше бы скриптец))
ну можно это конечно руками делать, но лучше бы скриптец))
ЮХ
они подходят, просто я хочу параллельно запускать пачку продюсеров для каждого топика
ну можно это конечно руками делать, но лучше бы скриптец))
ну можно это конечно руками делать, но лучше бы скриптец))
баш скриптец, где они просто как демоны запускаются))
H
баш скриптец, где они просто как демоны запускаются))
да, пока только такой вариант)
спасибо
спасибо
AI
А можно доку где учат как настроить jmx для коннектора?
Добавлю еще ссылок с конфигами/примерами:
https://github.com/prometheus/jmx_exporter/blob/master/example_configs/kafka-connect.yml
https://github.com/jeanlouisboudart/kafka-platform-prometheus/blob/master/jmx-exporter/kafka-connect.yml
https://github.com/debezium/debezium-examples/tree/master/monitoring
https://github.com/prometheus/jmx_exporter/blob/master/example_configs/kafka-connect.yml
https://github.com/jeanlouisboudart/kafka-platform-prometheus/blob/master/jmx-exporter/kafka-connect.yml
https://github.com/debezium/debezium-examples/tree/master/monitoring
VC
гляну спасибо
СХ
кафка 0,10 обновить не можем.
место свободное везде есть, проблем с днс нет, зукипер доступен
[2021-01-13 18:55:36,761] ERROR There was an error in one of the threads during logs loading: java.lang.InternalError: a fault occurred in a recent unsafe memory access operation in compiled Java code (kafka.log.LogManager)
[2021-01-13 18:55:36,763] FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
место свободное везде есть, проблем с днс нет, зукипер доступен
СХ
вначале кластер не мог писать в часть топиков, ошибок не выдавая адекватных, ребутнули, и 1 нода вот так, остальные продолжили работать
СХ
после вывода этой ноды штатно
СХ
возникает вопрос, отчего может быть эта ошибка
СХ
то что удалив данные и почтистив логи заработает - это хорошо, но как это предотвращать?и как до перезапуска всего кластера ловить такие ноды
СХ
если в логах было пусто