Использую старый механизм
Continuous Queries

Если в результатах запроса надо получить 90%% с гранулярностью 2 минуты. То пишу Continuous Queries, которая каждые 2 минуты считает 90%% для данных от now - 3m до now - 1m.

Если самый тяжелый блок в отчете - сумма с хитрым фильтром, то делаю его предрасчет. Так по запросу, по запросу ускорил отчет для  статистики по PostgreSQL.

Continuous Queries - как Materialize View

точнее это датафрейм, так что графане самой пофигу

а как вывести результат многих cq?

я никогда не использовал, оно в отдельную таблицу падает?

а вижу, ты можешь указать measurement куда запись сделать и она будет иметь время = времени выполнения, круто

сегодня продуктивный чат, действительно :)

Continuous Queries сохраняет результат в отдельный measurement, да.
Так можно настроить запись почти сырых исходных данных с retention = 1d.
И все эти данные растасткивать на другие retention policy в отдельные таблицы.
И быстро будет и точно.

Сейчас использую агрегированные по 1 минуте данные, и их еще обсчитываю. Чтобы они еще меньше становились.

А конкретно для PostgreSQL. Исходные данные все монотонно растущие, например статистика по индексу конкретному. А мне надо прирост за каждую минуту или за каждые 2 минуты.
Вот такие приросты можно на Continuous Queries переложить, пускай считает diff

Подготовлю рассказ про мониторинг JVM

⚡️ В следующий четверг 18 марта в 17.00 по МСК пройдет Neat Talks #11, который  будет посвящен 3D и JVM. Тоже ничего не поняли, да? Тогда приходи и включайся, все расскажем и покажем!

🍿 Программа Neat Talks #11

👨‍💻 3D
Влад Авдеев, 3D-дизайнер в Neattech.io (50 мин доклад + 10 мин вопросы)

Расскажет про:
- Что ж это все-таки такое и как я могу это использовать?
- Можешь мне слепить персонажа, чтобы он был с анимациями, материалами, огненным мечом и громил дома с разлетающимися мертвыми телами? Это же не трудно, тыжтрёхмерщик. (Или разделение 3д-специалистов)
- Какой потенциал у 3D и действительно ли скоро 3д-художники умрут от голода?
- Черт побери, такой интересный доклад, может мне тоже стоит заняться 3Д? - За ответом приходите на митап!

👨‍💻 Мониторинг производительности JVM
Смирнов Вячеслав @smirnovqa, директор по технической экспертизе, ВТБ, занимается ускорением ДБО для юридических лиц (30 мин доклад + 10 мин вопросы)

Расскажет про:
- Просто решаемые проблемы производительности JVM
- Часто используемые и редкие JVM
- JMX технологию в JVM
- Утилиту jmc и просмотр MBean Server
- Проекты jolokia и prometheus jmx exporter
- Подключение мониторинга на лету, через javaagent и через JMX
- Сбор метрик в influxdb и prometheus
- Визуализацию метрик в Grafana
- Наработки

🎤 Чтобы присоединиться к митапу регистрируйтесь по ссылке

Ссылка на трансляцию в Zoom придет на эл. почту за 2 дня до проведения мероприятия.

❗️ Если ты хочешь выступить на следующем Neat Talks со своей темой, напиши об этом организаторам

Еее

Интересно будет послушать, некоторое время назад использовал джолокию ту же самую, и она была достаточно сырая на тот момент

Круто, спасибо.

Можно будет потом запись посмотреть (предлагаемое время крайне не подходящее для меня)?

Всем привет. Помогите, знающие люди, разобраться с соответствием тредов реальному rps в jmeter. Имею допустим 100 threds, но при этом rps достигает 25-26. В какую сторону смотреть, чтобы понять почему rps не 100, куда девается остальное и как сделать 100. Ну или пните в сторону того, как разобраться в работе этих тредов

Есть запрос, он отправляется, пусть за 1 сек. И еще за 3 приходит ответ. Всего 4 сек.

При такой скорости - за 1 секунду можно отправить 0,25 запроса.
А если делать это в сто потоков, то можно отправить 25 запросов в сек.

Если добавить еще 100 потоков, то быстрее работать может станет, а может нет - длительность ответов увеличится, станет 9 секунд. И интенсивность упадет наоборот

как поставить лайк ?  :)

Спасибо!

Народ, использовал кто-то jolokia для мониторинга jvm?

А чтобы с увеличением количества потоков точно (+-) росла интенсивность, надо сделать так, чтобы следующий запрос стартовал не тогда, а когда предыдущий закончился, а с запасом. Но точным запасом.

Например. Каждые 20 секунд выполняется запрос. 20 > 4-х.

Называется это шаг нагрузки.
При шаге 20 сек, интенсивность одного потока = 3 запроса в минуту. Чтобы подать 25 в сек, или 1500 в минуту, надо будет 500 потоков. А чтобы 50 в сек или 3000 в минуту - 1000 потоков.

Будет работать, пока длительность одного не превысит 20 сек

Пытался один раз, но подход jolokia показался неудобным, использовал jmxtrans для выгрузки метрик в Influx