Спасибо!

адекватный вариант, т.к. не требует наличия "бекапного" кластера кафки

@gamussa ^

Приветствую! Кто-то сталкивался, что после обновления на 2.6 (confluent-kafka-6.0.1-1.noarch)
при старте брокера постоянно рестарт, куда можно покопать?
Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
java.lang.IllegalArgumentException: requirement failed: Split operation is only permitted for segments with overflow

При чём обновлял 2 разных кластера на одном всё ок (с 2.3 обновлялся), а вот который с 2.1 на 2.6 такая ошибка.

Вроде где то была информация, что с версии 2.3 до 2.6 норм, а более ранние версии надо сначала до 2.3 обновлять, а потом на последнюю.
Хотя на 100% не уверен, что правильно помню

Привет. Может кто-то сталкивался или знает. Если используется SeekToCurrentErrorHandler, пример:

    @Bean
    public SeekToCurrentErrorHandler seekToCurrentErrorHandler() {
        FixedBackOff fixedBackOff = new FixedBackOff(1000, 5);
        return new SeekToCurrentErrorHandler(fixedBackOff);
    }

в котором мы закладываем 5 попыток повторения, через секундный интервал. То при исчерпании попыток, что произойдёт с сообщением? оно будет закоммичено и начнётся обработка следующего?

ActMode = ContainerProperties.AckMode.RECORD

Народ, сижу разбираюсь с проектом kafka-backup

погонял туда сюда. Возникли вопросы, может кто-то ответить?


1. kafka-backup сохраняет consupmers_offset. При восстановлении они как-то используются?

2. Правильно ли я понял, что дубликаты не отслеживаются. Т.е если я 3 раза восстановлю топик из одного и того же бекапа, то будет 3 дубля?

3. Не понял, зачем нужно восстанавливать индексы сегментов. Для чего это ?

Рахмат тебе, добрый человек! Потыкаем.
^__^

Ребят, столкнулся со следущей проблемой, для spark-kafka-source-582a21ee-56b2-45a8-8374-fb4f807cc44b-1478556664-driver-0 group coordinator is not available

При регистрации другой группы все естественно поехало дальше читать

как избежать падения груп координатора и сделать фейл овер

Group coordinator tdp-kfp-008.corp.tele2.ru:9096 (id: 2147483639 rack: null) is unavailable or invalid

Привет, я похоже в глаза долблюсь но никак не могу найти как увеличить кол-во партиций для всей группы, а не для каждого топика.
Подскажите плиз, где искать?

если не ошибаюсь, количество партиций - это атрибут именно топика и придется выставлять на каждый

ох блин, я тестирую дебезиум и у меня их очень много =(
Спасибо!

num.partitions