В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1534 membersпожаловаться на группу
2019 December 03

Y

Yuriy in pro.kafka
Всем привет
Ребят, подскажите пожалуйста.
Есть топики (26к)
Которые помечены на удаление, но не удаляются
Гугления дало понять, что контроллер может отложить данное действие, это так?
Рестарт кластера не помог

Как можно заставить удалять топики?

Может удалить контроллер из zk?
И когда будет выбран новый контроллер, начнётся удаление?
источник
12:22пожаловаться#1

Y

Yuriy in pro.kafka
Delete topic - true
источник
12:22пожаловаться#2

Y

Yurii in pro.kafka
Было такое, напрямую с ZK удалял
https://medium.com/@contactsunny/manually-delete-apache-kafka-topics-424c7e016ff3
Medium
Manually delete Apache Kafka topics
Using Zookeeper CLI
источник
12:29пожаловаться#3

Y

Yuriy in pro.kafka
Через зк возможно удаление топиков по регулярке?
источник
12:29пожаловаться#4

Y

Yuriy in pro.kafka
Ибо 26к топиков
источник
12:31пожаловаться#5

Y

Yurii in pro.kafka
По регулярке незнаю, но скриптец точно можно забубенить)
источник
12:32пожаловаться#6

Y

Yuriy in pro.kafka
Есть ещё решения, более «штатно»?)
источник
12:33пожаловаться#7

Y

Yuriy in pro.kafka
Ладно, будем скриптом)
Спасибо)
источник
12:37пожаловаться#8

AB

Alexey Bogachev in pro.kafka
Добрый день!
С кластера коннекта собираю метрики с помощью javaagent, не экспортируются connector-metrics(status, connector-type, connector-class, connector-version)
Кто сталкивался?
источник
12:51пожаловаться#9

Y

Yuriy in pro.kafka
А сообщения в логе controller
Deletion for replicas говорит о том, что удаляются реплики, после них идёт удаление топиков?
источник
13:15пожаловаться#10

A

Anatoly Soldatov in pro.kafka
Yuriy
Всем привет
Ребят, подскажите пожалуйста.
Есть топики (26к)
Которые помечены на удаление, но не удаляются
Гугления дало понять, что контроллер может отложить данное действие, это так?
Рестарт кластера не помог

Как можно заставить удалять топики?

Может удалить контроллер из zk?
И когда будет выбран новый контроллер, начнётся удаление?
Да, удаление отложено происходит
Если вы брокер контроллер рестартанете, новый контроллер автоматически выберется
Не надо его из зукипера удалять руками
источник
13:29пожаловаться#11

Y

Yuriy in pro.kafka
Ну у нас проблема в том, что клиенты создают топики
И например топик помечен на удаление, а он не удалился
И клиент пытается создать топик
Происходят ошибки
источник
13:32пожаловаться#12

Y

Yuriy in pro.kafka
И как я понял удаление топиков не выполнилась за ночь
источник
13:33пожаловаться#13

N

Nikolay in pro.kafka
Можно ли настроить ssl только для одного брокера ?
источник
13:46пожаловаться#14

GM

Gleb Mekhrenin in pro.kafka
Yuriy
Ибо 26к топиков
а как так вышло?
источник
13:51пожаловаться#15

AD

Aleh Danilovich in pro.kafka
Yuriy
Всем привет
Ребят, подскажите пожалуйста.
Есть топики (26к)
Которые помечены на удаление, но не удаляются
Гугления дало понять, что контроллер может отложить данное действие, это так?
Рестарт кластера не помог

Как можно заставить удалять топики?

Может удалить контроллер из zk?
И когда будет выбран новый контроллер, начнётся удаление?
А какая версия кафки?
источник
13:51пожаловаться#16

A

Anatoly Soldatov in pro.kafka
Yuriy
И как я понял удаление топиков не выполнилась за ночь
Часто рестарт контроллера даёт пинок и очередь на удаление разгребается

Если на брокере уже нет данных по этим топикам, то можно удалить их из очереди на удаление (/admin/delete_topics), из конфигов (/config/topics) и с брокеров  (/brokers/topics)
источник
14:42пожаловаться#17

A

Anatoly Soldatov in pro.kafka
Я для удавления большого числа топиков такой скрипт когда-то писал
источник
14:44пожаловаться#18

A

Anatoly Soldatov in pro.kafka
from kazoo.client import KazooClient
zk = KazooClient(hosts='localhost:2181')
zk.start()
pattern = 'somepattern.test_messages_'
for child in zk.get_children('/config/topics/'):
 if child.startswith(pattern):
     zk.delete('/config/topics/' + child)

for child in zk.get_children('/brokers/topics/'):
 if child.startswith(pattern):
     zk.delete('/brokers/topics/' + child, recursive=True)

for child in zk.get_children('/admin/delete_topics/'):
 if child.startswith(pattern):
     zk.delete('/admin/delete_topics/' + child)
zk.stop()
источник
14:44пожаловаться#19

A

Anatoly Soldatov in pro.kafka
Если у вас нет общего паттерна, надо будет сперва список битых топиков из кафки достать, это легко через
Kafka-topics —zookeeper somezkhost —list | grep deletion
источник
14:46пожаловаться#20