Size: a a a

2021 January 03

VG

Vik Gamov in pro.kafka
Nick
Потом собсна в дело идет внутрянка, за которую особо не скажу, но кафка начинает достаточно ощутимо жрать память при создании большого количества топиков (тут может кто-то детально подскажет почему так происходит)
И напоследок приятным бонусом идет перезапуск такого брокера, где он после запуска должен проверить корректность всех крайних датафайлов каждой принадлежащей ему партиции
Структура партишенов хранится в памяти контроллера. Поэтому может и память поедаться активно
источник

PD

Phil Delgyado in pro.kafka
Ну, тестировать нужно. Но вообще если нужно много партиций, то или смотреть на другие решения или изощряться
источник

N

Nick in pro.kafka
Vik Gamov
Структура партишенов хранится в памяти контроллера. Поэтому может и память поедаться активно
спасибо, примерно так и думал
источник

D

Dima in pro.kafka
Yuriy
Топики - это именованная группа партиций.
Не более 4 партиций per broker
Не более 200к партиций per cluster
это с учётом репликации цифры?
источник

Y

Yuriy in pro.kafka
Dima
это с учётом репликации цифры?
Я думаю да, они же используются тоже
источник

Y

Yuriy in pro.kafka
Я просто видел реальные кейсы, когда на брокере было по 25к партиций
Но не все использовались (топики некоторые пустовали)
Все работало, заметили только тогда, когда latency вырос, но это было уже >30к партиций
источник

D

Dima in pro.kafka
при 5 копиях получается верхний потолок на 40к партиций на кластер
допустим, топик бьётся на 10 партиций - тогда это 4к топиков в максимуме
источник

D

Dima in pro.kafka
порядок с потолком на 1к топиков на кластер - в целом очень даже хорошо
источник

D

Dima in pro.kafka
спасибо 🙂
источник

D

Dima in pro.kafka
у меня лично интерес был про "под 200 топиков" - комфортно будет кластеру или не очень
источник

Y

Yuriy in pro.kafka
Считают не по топикам, а по партициям
200_000 на кластер макс
источник

D

Dima in pro.kafka
ох уж этот вопрос "как шардироваться будем? а ключ какой возьмём?" ))
источник

D

Dima in pro.kafka
Yuriy
Считают не по топикам, а по партициям
200_000 на кластер макс
да, я понял - это я для себя прикинул из собственных прикидок конкретного кейса
источник

D

Dima in pro.kafka
Yuriy
Считают не по топикам, а по партициям
200_000 на кластер макс
но спасибо за подчёркивание сути 🙂 👍
источник

Y

Yuriy in pro.kafka
Так важно иметь фактор реплик 5?
источник

D

Dima in pro.kafka
Yuriy
Так важно иметь фактор реплик 5?
нет, но когда прикидываю - предпочитаю заложиться побольше
потом жмёт меньше, когда припрёт
источник

D

Dima in pro.kafka
честно говоря я готов чуть ли не без репликации жить 😁 если воркеры прокачивают)
источник

N

Nick in pro.kafka
с репликами надо поосторожнее, они сеть хорошо кушают
источник

Y

Yuriy in pro.kafka
Dima
нет, но когда прикидываю - предпочитаю заложиться побольше
потом жмёт меньше, когда припрёт
Просто возможно дикое летенси на доставку

Можно сделать фактор реплик 3, и min isr 2
Тогда мы точно будем знать, что сообщение есть точно будет как минимум на 2 брокерах
источник

D

Dima in pro.kafka
Yuriy
Просто возможно дикое летенси на доставку

Можно сделать фактор реплик 3, и min isr 2
Тогда мы точно будем знать, что сообщение есть точно будет как минимум на 2 брокерах
угу, в целом так и представлял себе
источник