DZ
burrow, prometheus, вот это всё.
Size: a a a
2020 December 02
DZ
Я понимаю, что по хорошему мне нужно в сообщения класть время начала жизни - и на консумерах эту метрику считать. Но вдруг кто-то на коленке решил.
DZ
Время между тем, как сообщение положили - и как его забрали в обработку или обработали.
AL
А что если сообщение в dlq попало?
DZ
А что за dlq в кафке? Этож не кролик
DZ
О. Сашка. 🖖
AL
А что за dlq в кафке? Этож не кролик
🙋♂️ ещё один топик для сообщения топика, обработка которого завершилась ошибкой. Может сместить метрику вроде
DZ
Да, конкретной метрики нет. Лаги то я смотрю. Я подумал, может быть кто-нибудь вывел нормально работающую формулу, по которой можно среднее время прохождения сообщеньки посчитать. Пока у меня идея взять скорость роста топика, скорость потребления конкретной группой и лаг - и попробовать из этого как-то вывести.
AL
но это же нужно делать в пользовательском коде, а не в как в случае кролика оно само туда перекидывается
Инструментарий позволяет ничего не делать дополнительно в пользовательском коде - возникло исключение, сообщение будет отправлено в dlq.
DZ
Да, конкретной метрики нет. Лаги то я смотрю. Я подумал, может быть кто-нибудь вывел нормально работающую формулу, по которой можно среднее время прохождения сообщеньки посчитать. Пока у меня идея взять скорость роста топика, скорость потребления конкретной группой и лаг - и попробовать из этого как-то вывести.
Если вдруг кому-то такое тоже интересно и кто-то тоже не хочет инструментировать консумеры - то вот, возможно вам подойдёт - https://github.com/lightbend/kafka-lag-exporter#estimate-consumer-group-time-lag.
DZ
kafka-burrow же.
DZ
Ну или последняя ссылка от меня - там лаг и в количестве и во времени.
AZ
скажите пожалуйста, блобы потенциально довольно больших размеров (1-2 гига, но обычно размером около 100 метров) гонять через очереди нормально? или подумать о другом механизме каком-нибудь?
AZ
взаимодействие между сервисами хочется видеть только через очереди. Но думаю, что делать в ситуации, когда пользователь хочет в систему загрузить какой-нибудь здоровый файл
N
взаимодействие между сервисами хочется видеть только через очереди. Но думаю, что делать в ситуации, когда пользователь хочет в систему загрузить какой-нибудь здоровый файл
не давать ему это сделать?)