NS
Спасибо
Size: a a a
2020 September 12
2020 September 13
AP
ребят, а как лимитировать нагрузку на kafka-streams приложении?)
AP
поясню - у меня после падения приложения накапливается очередь из непрочитанных сообщений
И после рестарта консьюмер начинает читать по 150к сообщений в секунду
После этого он отваливается
Подозреваю, что от такой загрузки кафке плохо становится
И после рестарта консьюмер начинает читать по 150к сообщений в секунду
После этого он отваливается
Подозреваю, что от такой загрузки кафке плохо становится
GM
Что значит отваливается? Эксепшен? Оом киллер?
AP
2020-09-10 20:09:41 WARN AbstractCoordinator:1119 - [Consumer clientId=sharder-application-1-8545e058-3494-4951-93d3-94bb4833be44-StreamThread-5-consumer, groupId=sharder-application-1] This member will leave the group because consumer poll timeout has expired. This means the time between subsequent calls to poll() was longer than the configured max.poll.interval.ms, which typically implies that the poll loop is spending too much time processing messages. You can address this either by increasing max.poll.interval.ms or by reducing the maximum size of batches returned in poll() with max.poll.records.
AP
причем даже эксепшн не вылетает
AP
ну через wondershaper получается лимитировать походу
DC
ну через wondershaper получается лимитировать походу
max.pool.records и max.pool.interval.ms должны помочь
AP
Ну я крутил их достаточно долго
AP
Кажется, что проблема глубже
AP
Я думаю квоту выставить на стороне брокера, мб лучше станет
nn
привет ребят
а как думаете коммитить оффсеты часто (10-50ms) норм тема?
а как думаете коммитить оффсеты часто (10-50ms) норм тема?
VB
@true_teamlead сильно зависит от того сколько у тебя консумеров. Одно дело 2 консумера комитящих 100 раз в секунду, другое дело 100 консумеров комитящих 100 раз в секунду.
N
привет ребят
а как думаете коммитить оффсеты часто (10-50ms) норм тема?
а как думаете коммитить оффсеты часто (10-50ms) норм тема?
и на кой так часто?
nn
@true_teamlead сильно зависит от того сколько у тебя консумеров. Одно дело 2 консумера комитящих 100 раз в секунду, другое дело 100 консумеров комитящих 100 раз в секунду.
будет зависить от размера кластера
ну короче ~3 или 9 консамеров
ну короче ~3 или 9 консамеров
nn
и на кой так часто?
я считываю данные из кафки и пушу их в другую систему и хочу тратить как можно меньше времени на агрегацию сообщенек для коммита
N
Кафка разве вызывает fsync по комите?
N
я считываю данные из кафки и пушу их в другую систему и хочу тратить как можно меньше времени на агрегацию сообщенек для коммита
так вам надо не частотоу коммитов выставлять, а время на полинг и максимальный размер буфера уменьшить
VB
@true_teamlead ну вроде не смертельные цифры.
Вообще нужно учитывать следующий момент с комитами: в одной консумер группе все коммит реквесты отправляются на одно ноду брокера, если скажем у тебя три сервера кафки и рэйт сообщеений 1000 в секунду и ты коитишь по одному мессджу, то есть имеешь те же самы 1000 комитов в секунду то у тебя возникнет следующий дисбаланс в нагрузке на брокеров:
месаджи распределятся скорее всего равномерно по 333 на брокер, но один из брокеров будет обрабатывать 1000 комитов
Вообще нужно учитывать следующий момент с комитами: в одной консумер группе все коммит реквесты отправляются на одно ноду брокера, если скажем у тебя три сервера кафки и рэйт сообщеений 1000 в секунду и ты коитишь по одному мессджу, то есть имеешь те же самы 1000 комитов в секунду то у тебя возникнет следующий дисбаланс в нагрузке на брокеров:
месаджи распределятся скорее всего равномерно по 333 на брокер, но один из брокеров будет обрабатывать 1000 комитов