Там хз)

Вот про эту магию и говорим :)

hyper-v

Добрый день, подскажите, пожалуйста, сколько будут висеть в оперативной памяти прилетевшие в кафку сообщения и сколько места они там займут, прежде чем запишутся на диск?
Влияет ли на это размер сегмента или только параметры брокера log.flush.interval.messages, log.flush.interval.ms и топика flush.messages, flush.ms?

Для ясности можно предположить что у нас есть брокер с одним топиком.

Мы одному очень pro-Microsoft клиенту в своё время успешно продали RHEL + интеграцию его в AD. (сорри за оффтопик)

Ребят, а кто знает как сделать  реассайн партишенов, если одна из нод зависла и она мастер по этим партишенам? Ну то есть, года в кластере числится, но что-то считать с партишенов, у которых мастер залип невозможно, надо его как-то выкинуть из кластера на время, чтобы некоторое время оставшиеся ноды обслуживали.

Для того что бы умерла нода нужно перестать отправлять хартбиты на zookeeper. Стопнуть сервис ? Закрыть порт на ноде 2181?

Вопрос что значит залипла. Что в логах ?

По некоторым топикам этот мастер единственный in sync replica, и понятно что часть данных можно потерять, но это допустимо, главное эту ноды выкинуть, что бы остальные смогли на себя роль мастера взять.

Да там не в самой ноде проблема, там скорее с сетью на ней. И сейчас легче ее просто выкинуть. Просто если ноду стопорнуть, то другие на себя не берут роль мастера, так как реплики не были засинканы на момент проблем

Вопрос как из этого выплыть с минимальными потерями данных 🙂

Unclean leader election?

Добрый день. Нормально ли использовать Kafka Connect для передачи данных в\из собственных сервисов? Кратко о юзкейсе: имеется несколько терминалов ручного ввода данных (софт наш) и некая мастер-система (может быть как наша, так и внешняя), необходимо из мастер-системы передавать справочники на терминалы и изменения с терминалов обратно в мастер-систему. Терминалы могут работать автономно, без мастер-системы, в этом случае справочники на терминалах редактируют руками (коллизии при появлении мастер-системы для данного примера не важны, главное, что терминалы не привязаны жёстко к другим системам). Думал про что-нибудь простое типа Rabbit'а, но во-первых, Кафка уже используется для других сервисов, и плодить зоопарк не хочется, во-вторых, могут появляться новые терминалы, которые с минимальными усилиями должны подключаться к системе и получать полные справочники, в-третьих, нужно интегрироваться с внешними системами, которые невозможно доработать, и тут бы хорошо зашли коннекторы кафка коннекта. Как я вижу, есть три варианта решения:
1. Использовать в собственных сервисах Consumer\Producer API. Не нравится тем, что как мастер-система, так и терминалы могут работать автономно, даже не зная о Кафке. Следовательно придётся поддерживать два режима работы. Также придётся использовать распределенные транзакции или создавать какие-то собственные очереди на отправку и обработчики, отправляющие данные в кафку. И всё это никак не помогает связаться с внешними системами, для которых все равно надо будет писать отдельный сервис или коннектор, как в следующих вариантах
2. Написать отдельные сервисы, использующие Consumer\Producer API, и работающие как посредники между Кафкой и системами. Из плюсов - легко написать необходимую нам логику. Минусы - сложность в поддержке, мониторинге, организации отказоустойчивости, и т.д., в общем всё то, что даёт кафка коннект
3. Собственно, Кафка Коннект с кастомным rest-коннектором для наших сервисов и JDBC\Debezium\кастомным для внешних систем. Может даже JDBC подойдёт и для наших систем. Минус - все равно надо будет писать свои сервисы для трансформации данных между системами, но это уже можно сделать или на кафка стримах, или на каком-нибудь флинке\спарке, должно быть все равно проще и удобнее, чем п.2.
В недавнем митапе Леруа Мерлена был похожий доклад, но там как я понял все системы были внешними, то есть п.1 не подходил.

Это нормальное состояние? Почему оно как-то не равноерно. Хотя все консьюмеры balanced

а что за красивая gui ?

grafana

тут вполне возможно задачи некоторые выполнялись дольше

просто странно что первый брокер самый активный

у меня 10 топиков.
4 партиции с фактором 3

лидер кто?