Size: a a a

2019 November 15

Y

Yuriy in pro.kafka
Как считаете?
источник

SP

Sergey Pichkurov in pro.kafka
если таймаут по умолчанию это, скорее всего, не поможет. посмотрите метрики брокера, например Socket Server Avg Idle, Network Procersso Avg Idle ... похоже у вас проблема на брокере.
источник

SP

Sergey Pichkurov in pro.kafka
кол-во соединений на брокере ?
источник

АБ

Алексей Быстрый in pro.kafka
Yuriy
Ну тогда да

Гугления дало это:
Что данный exception появляется, когда producer записывает данные быстрее чем они могут быть отправлены
Если я правильно понял

Как вариант увеличить request.timeout.ms
Отправлены в реплики?
Может сообщения приходят сильно быстрее чем они реплицируются?
источник

Y

Yuriy in pro.kafka
Сообщений очень мало, не думаю, что в этом проблема
источник

Y

Yuriy in pro.kafka
Алексей Быстрый
Отправлены в реплики?
Может сообщения приходят сильно быстрее чем они реплицируются?
Да и недореплецированных парт нет
источник

AS

Alexander Sibiryakov in pro.kafka
тогда надо смотреть на здоровье брокера
источник

AS

Alexander Sibiryakov in pro.kafka
что там с ОС и железом
источник

AS

Alexander Sibiryakov in pro.kafka
Yuriy
Сообщений очень мало, не думаю, что в этом проблема
уточните пожалуйста порядок
источник

AS

Alexander Sibiryakov in pro.kafka
сколько это - мало?
источник

АБ

Алексей Быстрый in pro.kafka
Alexander Sibiryakov
сколько это - мало?
выше писал 50\с
источник

АБ

Алексей Быстрый in pro.kafka
кажется
источник

AS

Alexander Sibiryakov in pro.kafka
и они маленькие?
источник

Y

Yuriy in pro.kafka
Макс сообщение в 5мб
источник

Y

Yuriy in pro.kafka
Они разнятся
источник

AS

Alexander Sibiryakov in pro.kafka
диски и ОС у вас в порядке? если да, то расскажите сколько у вас клиентов и каких (consumer, producer). из скольких партиций эти клиенты читают?
источник

AS

Alexander Sibiryakov in pro.kafka
ну и вообще, проблема появилась спонтанно, или такое состояние приходило постепенно?
источник

Y

Yuriy in pro.kafka
Alexander Sibiryakov
ну и вообще, проблема появилась спонтанно, или такое состояние приходило постепенно?
Появилась после обновления клиентского модуля, не kafka libs
Возможно проблема связана с обновлением наших (внутренних модулей)
Диски в порядке, ос тоже ибо на нескольких стендах
источник

Y

Yuriy in pro.kafka
Проблема
источник

AS

Alexander Sibiryakov in pro.kafka
ну тогда гипотеза такая. ваши клиенты начали генерировать слишком много запросов, и они скопились в purgatory брокера
источник