В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

2142 membersпожаловаться на группу
2020 December 18

KT

Kirill T in pro.kafka
Павел Гордеев
Заходишь в папку /data и далее достаточно понятно, куда идти
Выбираю файлы,  которым допустим день и удаляю
Понятно. А почему автоматической очисткой не пользуетесь? Нет чётких критериев очистки или другие причины?
источник
11:16пожаловаться#1

ПГ

Павел Гордеев... in pro.kafka
Alex
руками почистили, брокер задетектил что файлов нету, залил с ближайшей реплики

извиняюсь но это похоже на попытку выстрелить себе в ногу
Бывали случаи,  когда именно на одном брокере сообщения не почистились. Поэтому помогает
Если данные на всех брокерах задерживаются,  то действительно проблема серьезнее
Можно таким же принципом воспользоваться, но телодвижений гораздо больше будет
источник
11:16пожаловаться#2

ПГ

Павел Гордеев... in pro.kafka
Kirill T
Понятно. А почему автоматической очисткой не пользуетесь? Нет чётких критериев очистки или другие причины?
Пользуемся
Просто бывает,  когда в течение маленького промежутка времени насыпает много сообщений, которые не очень критично потерять, но соседям на машинке мешает
источник
11:17пожаловаться#3

KT

Kirill T in pro.kafka
Григорий Доможиров
Друзья, здравствуйте. Простите, если избитый вопрос: как лучше очистить топик от сообщений? Я знаю 3 способа: пересоздать топик, временно поставить низкий retention, руками поудалять лог-файлы. Как правильно?
Лично я просто удаляю топик консольной утилитой. Пока проблем не было. Но я это делаю во время даунтайма. На горячую не знаю что будет.
источник
11:18пожаловаться#4

ПГ

Павел Гордеев... in pro.kafka
Kirill T
Лично я просто удаляю топик консольной утилитой. Пока проблем не было. Но я это делаю во время даунтайма. На горячую не знаю что будет.
Она по всем нодам кластера ходит и удаляет?
источник
11:20пожаловаться#5

KT

Kirill T in pro.kafka
Павел Гордеев
Она по всем нодам кластера ходит и удаляет?
А вот сейчас вы спросили и я понял, что на кластере я её никогда не выполнял. Но мне кажется, что должна во всём кластере, так как в аргументах там указывается не конкретная нода, а зукипер. Кроме того, команде отрабатает только при наличии исправного лидера топика.
источник
11:23пожаловаться#6

ГД

Григорий Доможиров... in pro.kafka
Павел Гордеев
Привет
У тебя место закончилось или просто нужно не читать уже имеющиеся сообщения?
Если сообщения пропустить нужно, то поставь слушателю latest консольной утилитой, если место почистить,  то я руками чищу. Может я тоже неправильно делаю,  но проблем пока не было из-за этого
место закончилось или надо почистить чтобы гарантировано удалить все сообщения, чтобы никто физически не мог из никогда прочитать. latest ставить не получится, читаю через assign api
источник
11:26пожаловаться#7

ГД

Григорий Доможиров... in pro.kafka
Kirill T
Лично я просто удаляю топик консольной утилитой. Пока проблем не было. Но я это делаю во время даунтайма. На горячую не знаю что будет.
даунтайм тут - это когда выключено приложение, использующее кафку?
источник
11:41пожаловаться#8

ГД

Григорий Доможиров... in pro.kafka
Kirill T
Понятно. А почему автоматической очисткой не пользуетесь? Нет чётких критериев очистки или другие причины?
А что за автоматическая очистка?
источник
11:41пожаловаться#9

KT

Kirill T in pro.kafka
Григорий Доможиров
даунтайм тут - это когда выключено приложение, использующее кафку?
Да. (Точнее, когда клиенты не работают с системой)
источник
11:42пожаловаться#10

ГД

Григорий Доможиров... in pro.kafka
При пересоздании топиков вероятно обнулится оффсет? Меня сейчас это вполне устраивает, но в общем случае, кажется, могут быть проблемы. Например, если клиентское приложение использует subscription api и хранит оффсет у себя
источник
11:43пожаловаться#11

KT

Kirill T in pro.kafka
Григорий Доможиров
А что за автоматическая очистка?
Можно в параметрах топика указать условие для автоматического удаления записей. Тогда брокер будет удалять сам.
источник
11:43пожаловаться#12

ГД

Григорий Доможиров... in pro.kafka
а, retention, понятое дело
источник
11:43пожаловаться#13

KT

Kirill T in pro.kafka
Григорий Доможиров
При пересоздании топиков вероятно обнулится оффсет? Меня сейчас это вполне устраивает, но в общем случае, кажется, могут быть проблемы. Например, если клиентское приложение использует subscription api и хранит оффсет у себя
Да, обнулится.
источник
11:43пожаловаться#14

NC

Nigerian Currywurst in pro.kafka
Если запускать в компоузе, то просто делаешь container prune
источник
11:52пожаловаться#15

NC

Nigerian Currywurst in pro.kafka
А потом volume prune
источник
11:52пожаловаться#16

NC

Nigerian Currywurst in pro.kafka
И твоя кафка снова чиста
источник
11:52пожаловаться#17

ЧП

Чёрный Плащ... in pro.kafka
если только в одни топик летят данные - установите для него retention.bytes и забудьте про ручные действия
не?
источник
11:54пожаловаться#18

ПГ

Павел Гордеев... in pro.kafka
Nigerian Currywurst
И твоя кафка снова чиста
вроде речь шла изначально о выбранных топиках, а не о всех
источник
11:54пожаловаться#19

ПГ

Павел Гордеев... in pro.kafka
Чёрный Плащ
если только в одни топик летят данные - установите для него retention.bytes и забудьте про ручные действия
не?
что будет, если это значение будет превышено ещё не прочитанными сообщениями? Или учитывается размер сообщений только за указателем?
источник
11:55пожаловаться#20