Я девопс) мне для разработчиков нужно дать рекомендацию по либе я поигрался с kafka-python не понравилась, что не умеет задавать репликацию при создании топика, а в конфлюется очень грусная дока

в смысле грустная дока?

всмысле не очень понятная

я про этот линк https://docs.confluent.io/current/clients/confluent-kafka-python/index.html#pythonclient-producer

А что именно не понятно?

Дай им кафка клиента, пусть создают топики :)

спасибо вы тут очень отзывчивые. Я думаю, я завтра попробую что то накидать и если будут вопросы (в том числе и по доке) я напишу, но в любом случае спасибо)

ну нет, так не пойдет))

стараемся

Инфраструктура как код. Все дела. Зачем разрабам создавать топики. Они могут и по 2к партиций делать и без реплик. А за рестором потом к Вам придут. У них задача писать. У Вас сделать так, что бы данные были целые и Ваша инфра выдержала.

Ребят, а кафка до сих пор может уменьшать Min ISR до одного во время нетворк партишиненга чтоб акнуть запись? Даже если на топике стоит min isr =2?

Кафка кластер 5 нод,
У топика rf=3, min isr =2

Или просто конфлик резолвится так чтоб не было пропуска в оффсетах на партишене?


Спрашиваю ибо случилось страшное, кафка сказала что записала сообщение и вернула оффсет по которому оно записано было.
После резолва нетворк партишена - по тому оффсету находится другое сообщение.
Можете ткнуть в свежие доки/доклады на эту тему?
Или совет какие логи искать на кафка брокере/зуукипере? Чтоб подтвердить понимание

А то получается кафка может терять данные)) хоть часть она и не потеряла

На продюсере стоит acks=all?

Естественно

Идемпотент продюсер еще

Но без транзакций

Что значит 2к?

2000

А можно как нибудь проверить что все меседжи для consumer group - consumer-group1, к примеру, в топике input-topic1 были вычитаны?