Size: a a a

2017 June 12

VS

Vladimir Smirnov in uptime.community
Sergey Korobov
Тензор. Я сейчас в процессе старта проекта миграции с Zabbix на веселую солянку из эластика, кафки, гокарбона (зиппер стек) литься это все будет в графану ну и на очереди выбор алертинга.
Как допилится в более менее прод - будет на хабре статья. Пока это мноооожественные тесты с заруливанием продуктивного траффика метрик, анализа как это все прикрутить к нашему внутреннему стеку управления и куда бежать в целом. По цифрам у нас сейчас собирается около 2М+ метрик в секунду, так что выбор того куда это можно запихать и обработать был долог и тернист (и не окончен) :)
понятно )
источник

VS

Vladimir Smirnov in uptime.community
я тоже хочу запилить статью на хабре про наше хозяйство,
источник

VS

Vladimir Smirnov in uptime.community
Sergey кстати, интересно что вам не нравится в zipper'е )
источник

SK

Sergey Korobov in uptime.community
я бы скорее сказал что мне в нем нравится - он очень простой :) вот материалы про то что он существует в природе и как его запускать было тяжко найти... ну и потом долго ковырять карбон и осознавать как же надо подготовить метрики чтобы они красиво в него легли
источник

VS

Vladimir Smirnov in uptime.community
Sergey там сейчас в go-carbon@master довольно весомый кусок всякого для понимания как оно внутри работает
источник

VS

Vladimir Smirnov in uptime.community
что правда немного негативно сказывается на например потреблении памяти
источник

VS

Vladimir Smirnov in uptime.community
у go-carbon'а появились ручки /metrics/list и /metrics/details - последняя выдает например atime, mtime метрик, размер их, время последнего чтения (правда оно пока не сохраняется при рестарте)
источник

SK

Sergey Korobov in uptime.community
есть идея как его запилить на распределенную систему с кафкой, но пока даже в тестах не реализована - пока требуемую нагрузку легко держит пара виртуалок
источник

VS

Vladimir Smirnov in uptime.community
Sergey Korobov
есть идея как его запилить на распределенную систему с кафкой, но пока даже в тестах не реализована - пока требуемую нагрузку легко держит пара виртуалок
у нас carbon-c-relay и куча бэкэндов с go-carbon'ом
источник

SK

Sergey Korobov in uptime.community
а т.к. проект в стартовой фазе - я сам сусам :)
источник

VS

Vladimir Smirnov in uptime.community
кафка в процессе на самом деле
источник

VS

Vladimir Smirnov in uptime.community
у меня сегодня proof of concept заработал наконец, но пока мне самому по функционалу его мало
источник

SK

Sergey Korobov in uptime.community
ну у нас в теории поток может до 10М вырасти... так что карбон-с-релей не выдержит
источник

VS

Vladimir Smirnov in uptime.community
Sergey Korobov
ну у нас в теории поток может до 10М вырасти... так что карбон-с-релей не выдержит
ну c-relay самое шустрое что сейчас есть :) и на 10М можно больше чем 1 машину иметь уже )
источник

SK

Sergey Korobov in uptime.community
один поток кафки на средней машине 700к в сек выдает
источник

SK

Sergey Korobov in uptime.community
вопрос как несколько с-релей собрать - это уже разрезанные кластеры получаются
источник

VS

Vladimir Smirnov in uptime.community
Sergey Korobov
вопрос как несколько с-релей собрать - это уже разрезанные кластеры получаются
у нас на локальных серверах стоят c-relay'и, весь софт пишет на локальные все
источник

VS

Vladimir Smirnov in uptime.community
а они уже по any_of шлют в центральные
источник

SK

Sergey Korobov in uptime.community
я долго не хотел на куфку переходить как mq - но несколько проблем она решает
источник

VS

Vladimir Smirnov in uptime.community
any_of это по сути fnv1a от имени метрики
источник