я на днях собирала kafka_exporter, там кое-что поломалось. В последней версии потеряли sasl.mechanizm. то есть в доке они оставили о нем предложение, типо, вот такие-то параметры можно использовать, но самого параметра не было, когда ты пытаешься стартануть контейнер. в итоге нашла коммит возрастом 6 дней назад где это пофиксилось)) но оно не сбилдилось по некоторым причинам(ща расскажу каким), ну и оно в поломанном состоянии осталось висеть, и пофикшенного артифакта так и не было)) ну... такто понятно, что опенсорц))) а кстати причина по которой не сбилдилось оказалась банальна. надо было пересобрать с апгрейднутыми гошными либами)))

хех) если бы)) нет. мне просто было непонятно, почему оно так работает(мне в принципе пояснили за это), а также было грустно, что пришлось это траблшутить, ведь потратилась пара часов, пока я допёрла в чем дело

Эх, нужно было попробовать создать на топик 20000 партиций (не спрашивайте зачем 😂), и фактор репликации 3... и вот тогда ооооочень больно на автосоздании)))

больно всему кластеру

Да) мне это наблюдать тоже было больно)

😆😆😆 даж не буду спрашивать, что болело у кафки после таких мувов)))

Ну в принципе, если нарезать топики заранее, то оно еще и ничего работало )))

Да в этом и смысла никакого нет, в принципе

Эх... все понимали, что смысла нет, но начальство сказало нужно попробовать... несмотря ни на что... а вдруг прокатит) мутную схему хотели реализовать

+/- ничего. В старой статье конфлюента на leaderelection для 1к партиций уходило 5 секунд. А кластер на 20к партиций со kill -9 координатора уходило 20 секунд. Так что я критичного ничего не вижу

Добрый вечер! Дайте рекомендацию какую либу на python взять для  broker/consumer

доброго времени суток всем

я новичек в кафке

поставил кафку

запущено

но приложение ругается [Consumer clientId=consumer-2, groupId=unsi-unsi-api-app] Connection to node -1 could not be established. Broker may not be available.

подскажите в какую сторону копать

Как кафка запущена? Какой advertised IP / advertised listeners?