Size: a a a

2020 October 14

V

VTaliKK in pro.kafka
как посмотреть кто пишет в топик?
источник

V

VTaliKK in pro.kafka
кто-то пишет активно в топик, а кто не можем понять
источник

AK

Alexandr Korotkov in pro.kafka
VTaliKK
кто-то пишет активно в топик, а кто не можем понять
tcpdump и потом wireshark разгребать по фильтру, в котором указать порт, на котором работает кафка. В source найдете ip с которого пишут
источник

AS

Alexandr Smirnov in pro.kafka
а в хедерах сообщений может быть указан продьюсер смотрели
источник

N

Nikolay in pro.kafka
VTaliKK
кто-то пишет активно в топик, а кто не можем понять
посмотрите кто лидер. зайдите на лидер и посмотрите через ss или netstat кто пишит. с какого хоста
источник

М

Миша in pro.kafka
а как принято делать? коннектить продюсер во время старта сервера или перед каждой отправкой?
источник

DD

Dmitry Dobrynin in pro.kafka
Миша
а как принято делать? коннектить продюсер во время старта сервера или перед каждой отправкой?
При старте. Перед каждой отправкой будет трата времени на установку соединения
источник

М

Миша in pro.kafka
так и думал, спасибо
источник

N

Nikolay in pro.kafka
Подскажите чем вы метрики Кафки в прометеус складываете ?
источник

VS

V 🏴‍☠️ S in pro.kafka
Экспортером
источник

N

Nikolay in pro.kafka
V 🏴‍☠️ S
Экспортером
источник

VS

V 🏴‍☠️ S in pro.kafka
Да
источник

N

Nikolay in pro.kafka
спасибо.
источник

IS

Ivan Shirokov in pro.kafka
Всем привет. Кто знает почему при вызове ./kafka-topics.sh --list --zookeeper:2181 Кафка может не показывать ни один топик? Уточню,  что зукипер запущен не тот, который в кафку встроен, а отдельный.
источник

IS

Ivan Shirokov in pro.kafka
Если что тут описался --zookeeper localhost:2181
источник

IS

Ivan Shirokov in pro.kafka
Чтобы сразу отсечь ответ что я неправильно написал команду)
источник

N

Nikolay in pro.kafka
а он умеет показывать какие-то метрики по состоянию брокера, которые не относятся к партициям? например сколько брокер затратил времени на ожидание io.
источник

VG

Vladislav Grib in pro.kafka
Может кто сталкивался с следующей проблемой. Использую Kafka + Elasticsearch  sink connector, в одном из топиков постоянно растет consumer lag, есть аналогичный топик который обрабатывает в 10 раз больше сообщений и там все норм. Может кто знает в какую сторону копать ?
источник

VG

Vladislav Grib in pro.kafka
+ может кто знает почему в кластере из 3 коннекторов , нагрузка распределяется не равномерно ? Первый коннектор потребляет ресурсов в 2 раза больше чем остальные, воркеры на нодах распределены равномерно
источник

EM

Eugeny M in pro.kafka
Ivan Shirokov
Всем привет. Кто знает почему при вызове ./kafka-topics.sh --list --zookeeper:2181 Кафка может не показывать ни один топик? Уточню,  что зукипер запущен не тот, который в кафку встроен, а отдельный.
попробуйте --bootstrap-server вместо зукипера и напрямую указать порт брокера
источник