На каком уровне он должен это знать - известно только вам :)
К вам может придти задрот, который с 12 лет сервера майнкрафта поднимет через поднятый им же ci/cd в гитлабе, а может чувак, который только System.out.println("java"); может написать.
Так ладно. Это всё какая то лирика. Технически мне скажите. Если сервис готов принимать батчи с размером от 1 элемента до миллиона в одном запросе, как мониторить его латенси?
Так ладно. Это всё какая то лирика. Технически мне скажите. Если сервис готов принимать батчи с размером от 1 элемента до миллиона в одном запросе, как мониторить его латенси?
На 1 элементе отвечает за 2мс, а на 1млн - 600мс и это вносит коллизии в мониторинг?