Ю
Приветствую коллеги. Порекомендуйте Хороший UI tool для отладки и мониторинга топиков, работы с Kafka аналог Conductor.io, а то Conductor.io коммерческим стал недавно.
Size: a a a
2020 April 29
DP
Юрий Мк.
Приветствую коллеги. Порекомендуйте Хороший UI tool для отладки и мониторинга топиков, работы с Kafka аналог Conductor.io, а то Conductor.io коммерческим стал недавно.
вчера гитхаб рекламировал мне - https://github.com/obsidiandynamics/kafdrop
может поможет тул этот, но сам я еще не пробовал
может поможет тул этот, но сам я еще не пробовал
MZ
Kafka tool использую, kafkatool.com
O
Kafka tool использую, kafkatool.com
в бесплатной версии ведь плагины не поддерживаются?
B
Добрый день! Скажите, а как работать с группами? Я создал косьюмера, определил его в группу, все ок приходят сообщения, рестартанул консьюмера и сообщения больше не приходят. Тут написанно, что надо обнулить счетчик CURRENT_OFFSET. Как это сделать из python-kafka или confluents-kafka? Или есть какой то более прямой путь и я что то делаю не так
AD
Поменяйте group id и прочитаете еще раз. Только зачем? Consumer группы для того и созданы, что бы исключить повторное чтение и разделить нагрузку между консьюмерами.
B
Да я это знаю, но у меня два консьемера и приведу в пример три кейса
- оба работают и поочереди получают сообщения
- один продалжает работать второй ребутнулся и тогда оба перестнанут получать сообщения, а я хочу что бы тот кот продолжает работать продолжал их получать
- оба ребутнулись, тогда Ваш ответ подходит, можно просто сделать новую группу
А какое решение для случаю № 2?
- оба работают и поочереди получают сообщения
- один продалжает работать второй ребутнулся и тогда оба перестнанут получать сообщения, а я хочу что бы тот кот продолжает работать продолжал их получать
- оба ребутнулись, тогда Ваш ответ подходит, можно просто сделать новую группу
А какое решение для случаю № 2?
ЮХ
Добрый день! Скажите, а как работать с группами? Я создал косьюмера, определил его в группу, все ок приходят сообщения, рестартанул консьюмера и сообщения больше не приходят. Тут написанно, что надо обнулить счетчик CURRENT_OFFSET. Как это сделать из python-kafka или confluents-kafka? Или есть какой то более прямой путь и я что то делаю не так
В Кафке можно сбросить текущий офсет, для твоей группы консюмеров
ЮХ
Вот тут не знаю, надо смотреть апи
ЮХ
я только нашел путь через консольную утилиту, что не хорошо.
Да вот как раз по консольную утилиту я и пользовался
ЮХ
и опять же если я сброшу offset тот что работал получит сообщения второй раз?
Они у тебя в разных группах должны быть
AD
Да я это знаю, но у меня два консьемера и приведу в пример три кейса
- оба работают и поочереди получают сообщения
- один продалжает работать второй ребутнулся и тогда оба перестнанут получать сообщения, а я хочу что бы тот кот продолжает работать продолжал их получать
- оба ребутнулись, тогда Ваш ответ подходит, можно просто сделать новую группу
А какое решение для случаю № 2?
- оба работают и поочереди получают сообщения
- один продалжает работать второй ребутнулся и тогда оба перестнанут получать сообщения, а я хочу что бы тот кот продолжает работать продолжал их получать
- оба ребутнулись, тогда Ваш ответ подходит, можно просто сделать новую группу
А какое решение для случаю № 2?
1. Консьюмеры подписываются на партицию и читают последовательно только из своих партиций. Что вы имеете ввиду под "по очереди"? 2. При выключении одного консьюмера из консьюмер группы произойдет ребалансинг. И все свободные партиции будут прочитаны живым консьюмером. Оффсет валиден для consumer группы а не для консьюмера
AD
Если у Вас не происходит ребалансинг значит, что то не так с настройками.
AD
В рамках одного консьюмера при условии отсутсвия нескольких тредов. Например: 2 консьюмера 10 партиций. 1 stream на консьюмер. В такой ситуации каждый консьюмер будет читать из 5 партиций и там уже порядок будет разный.
AD
В момент смерти одного консьюмера - оставшийся консьюмер в группе должен подписаться на свободные партиции