Ну, судя по тому, что консумер на жаве из этой Кафки с мЕньшими ресурсами всё читает, дело всё же в скрипте, пойду копать...

Телеграф

Как вариант, можно открыть отладочные порты при старте джвм жметра, ципонуться профилировщиком и глянуть на что тратится память 🤔

Остальные графики норм?

О таком варианте не думал, спасибо )

У нас были такие результаты:
- сообщения по 1кб: 25к сообщений в секунду (avg5, max50ms)
- сообщения по 50кб: 700 сообщений в секунду (avg130, max 206ms)
- сообщения по 1кб, но из кафки шлются в эластик: 10к сообщений в секунду

Очистка партиций кафки влияния не оказала

Конфига кафки:
5 нод по 4vCPU/8GB/ssd
(Данные реплицировались по всем нодам, consumer log не копился - то есть всё успевало вычитываться)
Cpu был занят на 30%

Zookeeper: 2vCPU/8gb

Jmeter:
Три тачки по 8vCPU/16Gb
Утилизацию нагрузочных станций не смотрел, НО!

Подавали нагрузку с одного генератора нагрузки - максперф был около 7k rps. А утилизация cpu и памяти  - низкая.
Добавили второй генератор- дошли до 16k rps

Добавили третий генератор - не изменилось.

Спасибо!

Нагрузку подавали через стандартную либу, семплеры (и produccer и consumer) были jsr223 с рукописным кодом

@paladen1 если я что наврал - поправь, плиз

Я не помню уже😳

А про либу/jsr223 ?
Результаты-то я с твоего отчёта взял :)))

Да, на jsr223

org.apache.kafka.clients

Там продюсер и консюмер

Либа такая, продюсер самописный, нужно код покопать.

Коллеги, ЧЯДНТ?
Есть ряд проблемных методов в смежной системе, которые я бы хотел убрать из результатов на доске (grafana, influxdb 1.8). Для этого добавил переменную на доску "codes_to_include", значения которой получаю: SHOW TAG VALUES FROM "jmeter" WITH KEY = "responseCode"
На графике ошибок пытаюсь применить фильтр. График строится по данным из запроса: SELECT sum("countError") FROM "$measurement_name" WHERE ("transaction" = 'all' AND "application" =~ /^$application$/ AND "responseCode" =~/^$codes_to_include$/) AND $timeFilter GROUP BY time($__interval) fill(null)
Как бы мне отсеч лишние коды из графика?

Коллеги, всем привет!
Можете пожалуйста помочь разобраться, вроде как с дико глупым вопросом, но на котором я встрял?

Сперва немного предыстории:
Заказчик попросил меня предложить ему требования, к системе, которые он посмотрит, а затем одобрит их, или немного скорректирует.

Одним из требованием к прохождению НТ я указал - количество ошибок, во время проведения НТ не должно превышать 10%.
На что он мне задал вопрос: "Каких именно ошибок? «Самолет упал» - это тоже ошибка, но 10% упавших самолетов – это не норма точно"

И тут я что-то поплыл, а действительно каких?)
Какие ошибки во время проведения НТ являются нормой, которые можно уместить в эти 10%?

Сюда точно не должны входить функциональные ошибки, т.к. НТ должно проводиться на полностью работающем стенде.
Сюда могут входить ошибки тайм-аута, ошибки по истёкшим пулам
Но на сколько я представляю сюда вообще могут входить разного рода ошибки...

Кто на практике сталкивался с подобными вопросами, может вы тоже составляли подобный перечень? Или может я вообще не в ту сторону копаю, и нужно как-нибудь объяснить заказчику что в этих 10% вообще любые ошибки могут быть?

сервис на http?

Ага

ну тогда как миинимум - все что возвращается с кодом от 400 до 504 - ошибка