а еще не везде есть записи. ЛЮДИ ЧТО ВЫ ДЕЛАЕТЕ АУ!

Вот на такое вчера нарвались. Возможно кого-то спасет

Узнал новый способ, как задудосить Кафку.

Раньше для создания топика был 1 путь - запросить метадату. И если топика не было, то он создавался. Но потом сверху достроили AdminClient который и забрал на себя задачи менеджмента.

Но вот проблема в том, что если чутьчуть неконтролируемо спрашивать о наличии топика.....то все они будут созданы. Из-за слехка кривого конфига было создано немалое кол-во топиков, которые и не нужны были. Спасибо что на тесте (на самом деле ничего страшного, брокеры проглотили, но иногда можно обнаглеть)

Собственно в доке ниже упоминается: Metadata requests should not modify the metadata. Звучит неплохо.

док https://cwiki.apache.org/confluence/display/KAFKA/KIP-487%3A+Client-side+Automatic+Topic+Creation+on+Producer

тред https://lists.apache.org/thread.html/3e16fbcb5738d15e047ae99327d8e76e9ffa8341f1150dd80241617c@%3Cdev.kafka.apache.org%3E

If the broker config, 'auto.create.topics.enable' is set to true, a warning will be given that states the config is deprecated.

ну у всех кого знаю на проде это отключено =)

иначе ССЗБ

ну вот внезапно у нас не было ):

Error unregistering mbean, что скажите?

Коллеги

Разобрались, может пригодится кому.
Когда более одного клиента, с одним client.id в рамках ОДНОЙ jvm

у себя сразу автокриэйт вырубили. в принципе даже тут много офигительных историй было про то в какую помойку кластер у людей со временем превращался

:(

Это в целом хорошее решени держать автосоздвние топиков выключенным

Не только эта проблема иначе возникнет рано или поздно

День добрый. Вопрос по компактингу топиков (если есть в документации, то благодарю за ссылку) - среди сообщений в топике в каждом сегменте оказывается одно уникальное, значит ли это что компактинг по сути не будет работать и все сегменты будут оставаться до тех пор пока не сработает ретеншен? Спасибо

то есть все сообщения имеют уникальный key?

если так, то компакшен ничего не сделает

Не все сообщения имеют уникальный ключ - допустим в сегмент влезает 100 сообщений, 99 повторятся в следующих сегментах (ключ), а 1 ключ будет уникальным среди всех сегментов. Значит ли что механизм компактинга, прежде чем сделать свое черное дело, пробегает по всем ключам в последующих сегментах чтобы понять что сообщение с таким ключом уже есть (я так понимаю это все лежит в памяти и надо пробежаться по кэшу) и если все ключи появились в других сегментах - прибивает его (сегмент), а если хотя бы одно не встретилось - оставляет сегмент как есть с 99 из 100 "мусорных" сообщений?

Вроде как должен скопировать этот ключ в новое место

Спасибо. Надо будет проэкспериментировать

Привет! Подскажите, плиз, кто как решает задачу по сбору данных с сервисов и доставке их в хранилище?
Данные должны доходить до DWH со всеми переходами и изменениями
Интересует больше всего место, где сервисы свои данные в кафку записывают (как это сделать удобно для сервисов? Как это сделать для разных баз данных и технологий максимально похоже?)