В итоге разобрались, деградировали сеть/диски/cpu у провайдера, единственным спасением выкрутить таймауты вверх, но все равно нас это не спасло, конкретно в этом случае срабатывал таймаут с зукипером(в 6 секунд) и кафка постоянно выбирала лидеров для партиций

ну и кидала ошибки параллельно

вообще я приятно удивлен тому что кафка когда поднялась ничего не было потеряно и все просто начало работать, ну и неприятно удивлен что малейшие проблемы в сети выбили мне сразу весь кластер, понятно что надо докручивать настройки но все же

Jmx exporter, prometeus, grafana

Lenses

как решили проблему в итоге?

А нет не починил я короче
Просто лог потерял) Странно конечно

В дебагере видно что ConsumerRecord он смог распарсить,а вот вытащить поля из него не может

Провайдер у себя что то починил, латенси в сети снизилось и кафка сама восстановила свою работу

@gamussa Ты случайно не знаешь в чем может быть проблема?
Есть два сервиса, service A - пишет в топик, service B читает.
Оба пользуются одной и той же схемой авро.
Только вот когда регистрируешь схему и отправляешь схему то показывается в схеме что namespace: package.service.A.ClassName
И при попытке считать сообщение в сервисе B получаю ошибку `Could not find class package.service.A.ClassName
specified in writer's schema whilst finding reader's schema for a SpecificRecord.`
Вот тут у чувака такая же проблема https://groups.google.com/d/topic/confluent-platform/GQDKji8gUR4
Но его совет перенести класс в тот же пакет с сервисом не помог

Вынес модель на основе схемы в 3ий пакет и использовал в обоих сервисах с одним и тем же неймспейсом заработало
Только теперь вопрос как это должно работать в разных сервисах 🤨

есть противопоказания запуска  кафки и зукипера через  systemd  с автоматическим запуском\перезапуском?   одиночный сервис без кластера

не встречал такого, в юните писал restart on failure

все работает )

Привет всем, может кто в курсе, насколько я понимаю кафка умеет работать с несколькими директориями для хранения партиций одновременно, вопрос, в новые директории попадут новые данные или она умеет перераспределять старые данные по директориям самостоятельно?

эх (

ну то есть если к 1 разделу добавлять, то просто на старый не будет создавать новых партиций, все новые в новый раздел

а если руками раскидать партиции O_O

можешь сговнякать репродьюсер?

confluent, если что, рекомендует RAID вместо разделов
с ним и сбалансить проще