В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1586 membersпожаловаться на группу
2020 January 15

A

Alex in pro.kafka
Ретеншен на размер имеет иногда смысл, но он пер партицию, а следовательно 2 партиции по 60% от размера диска попав на один брокер имеют все шансы скушать этот диск под 0
источник
21:29пожаловаться#1

MU

Max Underwood in pro.kafka
Клиенты Кафки работают только с лидерами. Нагрузка на те ноды что с репликами будет ниже. Зачем тогда столько год если они только для standby?
источник
21:29пожаловаться#2

A

Alex in pro.kafka
В моем примере 10 нод, 5*10=50 лидеров, в чем проблема?
источник
21:30пожаловаться#3

MU

Max Underwood in pro.kafka
Ох же. Ладно. Приятного вечера
источник
21:31пожаловаться#4

MU

Max Underwood in pro.kafka
А вот править сообщения нехорошо
источник
21:31пожаловаться#5

A

Alex in pro.kafka
Считаю плохо
источник
21:31пожаловаться#6

MU

Max Underwood in pro.kafka
Два раза меняя цифры
источник
21:31пожаловаться#7

A

Alex in pro.kafka
5 партиций в 10 топиках, 50 лидеров, нагрузка более менее равномерно, но топики то разные, и могут оказаться 2 жирных партиции на одном брокере
источник
21:33пожаловаться#8

A

Alex in pro.kafka
Поэтому я и спросил сколько топиков на кластере, когда 2-3 ещё как-то можно рулить, когда пошло на 10ки то тут ретеншен на размер уже плохо играет
источник
21:33пожаловаться#9

VB

Vladimir Bukhtoyarov in pro.kafka
Maxon Kalashnikov
Сталкивался кто с проблемой накапливания данных в топике __consumer_offsets ? Топик  уже неприлично распух, при том что offsets.retention.minutes выставлен в 2880, а сегменты лежат на диске с начала времент.
Кафка 1.0.1
проверь что log.cleaner.enable=true(в древних версиях он false по дефолту) и через JMX метрики LogCleaner чтобы убедится что он включен. Пр ивыключеном LogCleaner и cleanup.policy=compact(дефолтной для __consumer_offsets) у тебя будут просто отрезаться новые сегменты, но они никогда не будут компактится
источник
21:45пожаловаться#10

VB

Vladimir Bukhtoyarov in pro.kafka
если LogCleaner включен то нужно искать ошибки в логах от него
источник
21:46пожаловаться#11

AD

Alex Dev in pro.kafka
Alex
5 партиций в 10 топиках, 50 лидеров, нагрузка более менее равномерно, но топики то разные, и могут оказаться 2 жирных партиции на одном брокере
Нам Нужен автобалансировщтк
источник
21:46пожаловаться#12

A

Alex in pro.kafka
Автобалансировщик обычно работает по количеству топиков....

Более умные пытаются сами топики более оптимально распределить

Но без знания о нагрузке по каждому из топиков и их ретеншен политиках любой авто привращается лишь в инструмент "пожалуйста отвезти вот эти вот туда"
источник
21:48пожаловаться#13

A

Anatoly Soldatov in pro.kafka
Misha
Кто-то сталкивался с проблемой транзакционного сохранения обьекта в дб и отправления его в кафку? То есть, если не прошло сохранение в дб, то и не должен отправиться месседж в кафку. И наоборот, соответственно
Сталкивались :)
На кафка митапе как раз расскажем как решили
источник
21:49пожаловаться#14

M

Misha in pro.kafka
Anatoly Soldatov
Сталкивались :)
На кафка митапе как раз расскажем как решили
Этот митап наверняка где-то в Москве пройдет? Я не в России нахожусь, возможности послушать не будет :( расскажи плз в двух словах основную идею
источник
21:56пожаловаться#15

M

Misha in pro.kafka
Vik Gamov
Либо
- пишите в Кафку, потом коннектор выгребайте из Кафки в БД (Кафка - source of Truth)
- пишите в базу, потом коннектор выгребайте у Кафку
Спасибо за идею, есть над чем подумать
источник
22:00пожаловаться#16

VG

Vik Gamov in pro.kafka
Huan Karlos
да. это по сути та же кафка?
Эта таже кафка но патченная. MDS часть брокера.
источник
22:04пожаловаться#17

VG

Vik Gamov in pro.kafka
Misha
Этот митап наверняка где-то в Москве пройдет? Я не в России нахожусь, возможности послушать не будет :( расскажи плз в двух словах основную идею
обещают запилить видос и трансляцию
источник
22:04пожаловаться#18

HK

Huan Karlos in pro.kafka
Vik Gamov
Эта таже кафка но патченная. MDS часть брокера.
она заменит cp-kafka?
источник
22:05пожаловаться#19

A

Anatoly Soldatov in pro.kafka
Misha
Этот митап наверняка где-то в Москве пройдет? Я не в России нахожусь, возможности послушать не будет :( расскажи плз в двух словах основную идею
Будет трансляция
В двух словах @gamussa выше написал :)
источник
22:06пожаловаться#20