S
как раз важно =)
ордеринг, который у кафки только в пределах партиции, но при попадании в разные вы уже ордерингом не управляете
Size: a a a
2020 October 12
SB
как раз важно =)
ордеринг, который у кафки только в пределах партиции, но при попадании в разные вы уже ордерингом не управляете
ордеринг, который у кафки только в пределах партиции, но при попадании в разные вы уже ордерингом не управляете
Я вот был в проекте, где один талантливый джаваскрипт орехетектор попытался вокруг 4 партиций построить полный порядок, вдохновившись sequence numberом из TCP
OG
Поясните, не понел
AE
народ, что лучше, один тип сообщения - один топик? или один топик на микросервис + топик бродкаста для все сервисов?
AE
сейчас у нас в одном сервисе (spring) порядка 110-115 топиков слушается и как то ему не хорошо, тип сообщения к топику - один к одному, плюс настройка конкаренси и усе, 700 тредов
AE
чисто на кафку
GK
Ответ на вопрос «Да»
GK
Потому что it depends. Я могу привести примеры, когда и один, и второй вариант подходят и не подходят, соответственно. Или когда надо вообще по-другому делать.
S
народ, что лучше, один тип сообщения - один топик? или один топик на микросервис + топик бродкаста для все сервисов?
одна схема - один топик, остальное от лукавого для любителей извращений, на мой взгляд, но кафка ничего не навязывает, разумеется
AE
у меня есть конечно конкретная мысль на это счет, 110 топиков на приложение - дофига и пора распиливать но временные таблеточки нужны
НА
добрый день, подскажите почему так отличается массив, в какую сторону смотреть что бы сделать одинаковый вывод
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec
брокер А
брокер Б
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec
брокер А
time,"1602238101813"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:Count,"39"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:EventType,"messages"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:FifteenMinuteRate,"5.6337033933972067E-5"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:FiveMinuteRate,"4.825215829996067E-8"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:MeanRate,"1.4275355884538996E-4"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:OneMinuteRate,"1.3081400668568506E-28"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:RateUnit,"SECONDS"
брокер Б
time,"1602238113050"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:Count,"31030878"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:EventType,"messages"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:FifteenMinuteRate,"3.3601989093524973"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:FiveMinuteRate,"3.359907915740408"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:MeanRate,"2.4259470055094075"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:OneMinuteRate,"3.423625417302397"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:RateUnit,"SECONDS"
Такая шляпа проявляется если у вас показатели близкие к 0
GS
Привет! Есть кластер кафка. Например возьмем кластер из 3х нод с диском по 50 ГБ у каждой. У всех топиков репликация == 3. Пусть у меня есть 3 топика с одной партицией каждый. Если я поставлю retention на 20 Гб, то что будет если у меня утилизируется весь диск?
N
Привет! Есть кластер кафка. Например возьмем кластер из 3х нод с диском по 50 ГБ у каждой. У всех топиков репликация == 3. Пусть у меня есть 3 топика с одной партицией каждый. Если я поставлю retention на 20 Гб, то что будет если у меня утилизируется весь диск?
Если брокеру некуда будет записываться новые данные ,то это будет означать отсутствие availability
N
Кто знает . Брокеры делают long poling или short polling ?