A
Товарищи, вот эта штука ещё актуальна для текущей версии кафки?
https://kafka.apache.org/21/javadoc/index.html?org/apache/kafka/clients/admin/AdminClient.html
Size: a a a
2019 November 14
2019 November 15
AM
SP
Yuriy
Пока получаем просадки по производителельности
можно больше подробностей и каких-то метрик ?
Y
Sergey Pichkurov
можно больше подробностей и каких-то метрик ?
Этого хватит?
Message per second in broker - ~50
Incremental fetch session cache in broker ~40к
Partitions in broker: 4.5k
Topics all:11k
Проблема связанна с таймаутами
Характеристики брокеров
8 core
16 gb ram
150gb
Message per second in broker - ~50
Incremental fetch session cache in broker ~40к
Partitions in broker: 4.5k
Topics all:11k
Проблема связанна с таймаутами
Характеристики брокеров
8 core
16 gb ram
150gb
Y
Клиенты получают Exception
Expiring 2 record for {client} 41870ms has passed since last append
Expiring 2 record for {client} 41870ms has passed since last append
SP
интересно, у нас 4 брокера по 12к партиций на каждом. нагрузка неравномерная (обычно низкая) но бывают и пики и там такого не замечалось. а какая версия кафки ?
Y
2.2.0
AU
Sergey Pichkurov
интересно, у нас 4 брокера по 12к партиций на каждом. нагрузка неравномерная (обычно низкая) но бывают и пики и там такого не замечалось. а какая версия кафки ?
Сорри за глупый вопрос и все же чтоб понимать.
Когда считаете партиции на брокера то считаете только праймери или реплики?
Когда считаете партиции на брокера то считаете только праймери или реплики?
Y
У нас все
AU
То есть всего в кластере их 48к или 16к до репликации?
SP
все
Y
Меня смущает число истёкших запросов - около 2-3к
И отложенных, около 9к, в пике 15к
И отложенных, около 9к, в пике 15к
Y
Это не норма?
SP
delayed operations ~ 600-800 (< 1k)
SP
pugratory size : 8k - 28k
SP
heap used ~ 2.5Gb per broker
SP
4 cpu per broker
SP
как-то так
Y
Ну тогда да
Гугления дало это:
Что данный exception появляется, когда producer записывает данные быстрее чем они могут быть отправлены
Если я правильно понял
Как вариант увеличить request.timeout.ms
Гугления дало это:
Что данный exception появляется, когда producer записывает данные быстрее чем они могут быть отправлены
Если я правильно понял
Как вариант увеличить request.timeout.ms