Телеграмм чат группы metrics

2021 February 04

S

Привет, а ты про какой то конкретный statsd-proxy спрашиваешь? Или это общий вопрос из разряда - такие вообще есть? Как с ними жить?

уже разобрался
спрашивал про обычный из коробки у statsd

источник

22:48пожаловаться #1

vk

vladimir kolobaev in Церковь метрик

Stefan

уже разобрался
спрашивал про обычный из коробки у statsd

О, и как он тебе? Большие нагрузки тянет?

источник

22:52пожаловаться #2

S

Stefan in Церковь метрик

vladimir kolobaev

О, и как он тебе? Большие нагрузки тянет?

как раз завтра хочу один из высоконагруженных сервисов натравить, пока одна прокся и один statsd справляются
надеюсь так и будет.. не хочу заморачиваться с балансировщиком и австоскейлингом
пока 180к запросов приходит

источник

22:53пожаловаться #3

vk

vladimir kolobaev in Церковь метрик

Stefan

как раз завтра хочу один из высоконагруженных сервисов натравить, пока одна прокся и один statsd справляются
надеюсь так и будет.. не хочу заморачиваться с балансировщиком и австоскейлингом
пока 180к запросов приходит

180к/сек?

источник

22:54пожаловаться #4

S

Stefan in Церковь метрик

vladimir kolobaev

180к/сек?

ща гляну за какой интервал, а то бегло смотрел

источник

22:55пожаловаться #5

vk

vladimir kolobaev in Церковь метрик

Stefan

ща гляну за какой интервал, а то бегло смотрел

Когда решишь это всё начать скейлить, можешь посмотреть на вот эту штуку: https://github.com/avito-tech/bioyino. Она у нас 900 миллионов в минуту тянет (чуть чуть осталось до лярда).

GitHub

avito-tech/bioyino

High performance and high-precision multithreaded StatsD server - avito-tech/bioyino

источник

23:00пожаловаться #6

S

Stefan in Церковь метрик

vladimir kolobaev

180к/сек?

а пардон, то 180к пакетов)) в общем мизерная пока нагрузка

источник

23:00пожаловаться #7

S

Stefan in Церковь метрик

vladimir kolobaev

Когда решишь это всё начать скейлить, можешь посмотреть на вот эту штуку: https://github.com/avito-tech/bioyino. Она у нас 900 миллионов в минуту тянет (чуть чуть осталось до лярда).

GitHub

avito-tech/bioyino

High performance and high-precision multithreaded StatsD server - avito-tech/bioyino

😨
спасиб, погляжу
думал только эта прокся существует

источник

23:01пожаловаться #8

vk

vladimir kolobaev in Церковь метрик

Stefan

😨
спасиб, погляжу
думал только эта прокся существует

Ну это не прокся, а распределённый кластер statsd, но да, такой тоже есть и уже давольно давно.

источник

23:02пожаловаться #9

S

Stefan in Церковь метрик

vladimir kolobaev

Ну это не прокся, а распределённый кластер statsd, но да, такой тоже есть и уже давольно давно.

у нас проблема просто изначально с перезатиранием метрик, прокся в этом помогает
вопрос пока о перфоменсе не стоял, но учту

источник

23:03пожаловаться #10

vk

vladimir kolobaev in Церковь метрик

Stefan

у нас проблема просто изначально с перезатиранием метрик, прокся в этом помогает
вопрос пока о перфоменсе не стоял, но учту

Перезатирание, это когда 2 statsd сервера отправляют разные значения агрегатов по одной и тоже же метрике?

источник

23:05пожаловаться #11

S

Stefan in Церковь метрик

vladimir kolobaev

Перезатирание, это когда 2 statsd сервера отправляют разные значения агрегатов по одной и тоже же метрике?

именно)

источник

23:05пожаловаться #12

S

Stefan in Церковь метрик

и когда одинаковые хостнеймы(из-за автоскейлинга кривого пожалуй)

источник

23:05пожаловаться #13

S

Stefan in Церковь метрик

vladimir kolobaev

Перезатирание, это когда 2 statsd сервера отправляют разные значения агрегатов по одной и тоже же метрике?

и когда две и более тачек с одинаковым хостнеймом пушут в один и тот же статсд

источник

23:06пожаловаться #14

vk

vladimir kolobaev in Церковь метрик

Stefan

именно)

Да, понятно, в bioyino такого не происходит, так как там все инстансы находятся в кластере и обмениваются данными друг с другом. А результаты агрегации отправляет только выбранный по внутреннему конценсусу лидер. То есть фактически отправка данных происходит 1 раз за интервал.

источник

23:08пожаловаться #15

S

Stefan in Церковь метрик

vladimir kolobaev

Да, понятно, в bioyino такого не происходит, так как там все инстансы находятся в кластере и обмениваются данными друг с другом. А результаты агрегации отправляет только выбранный по внутреннему конценсусу лидер. То есть фактически отправка данных происходит 1 раз за интервал.

и в кластере они гарантируют уникальность каждой полученной метрики?
а то вот что у прокси есть

It uses a consistent hashring to send the unique metric names to the same StatsD instances so that the aggregation works properly.

источник

23:10пожаловаться #16

vk

vladimir kolobaev in Церковь метрик

Stefan

и в кластере они гарантируют уникальность каждой полученной метрики?
а то вот что у прокси есть

It uses a consistent hashring to send the unique metric names to the same StatsD instances so that the aggregation works properly.

А с каким типом вы отправляете эти метрики?

источник

23:14пожаловаться #17

S

Stefan in Церковь метрик

vladimir kolobaev

А с каким типом вы отправляете эти метрики?

каунты очень часто
годжи тоже не брезгуем

источник

23:14пожаловаться #18

vk

vladimir kolobaev in Церковь метрик

Stefan

каунты очень часто
годжи тоже не брезгуем

При этом названия метрик абсолютно одинаковые с обеих машин?

источник

23:15пожаловаться #19

S

Stefan in Церковь метрик

vladimir kolobaev

При этом названия метрик абсолютно одинаковые с обеих машин?

да

источник

23:17пожаловаться #20