SK
ну вот я глубоко не стал раскапывать - тем более когда тестил мониторинг самой кафки не включал - может он бы что то сказал
Size: a a a
2017 June 12
SK
но это был один поток на одной ноде кафки со стандартным конфигом партиционирования
SK
поиграюсь еще
SK
и вычитывалось это все простым линейным (по 1 записанному сообщению) демоном. т.е. в сообщении обычно штук 40 метрик, но я пока сильно не игрался с этим
VS
я думал бинарные данные в protobuf или msgpack слать )
SK
я пока решил в бинарники не уходить - сжатия достаточно, зато с данными проще работать и можно натравливать всякие системы поиска аномалий. Когда упрусь тогда будет куда еще поджаться :)
SK
я агентов достаточно долго выбирал - с json они все работали (хоть и формат у каждого свой)
SK
у меня система отпрототипирована процентов на 70 :)
VS
так для валидации все равно в бинарь конвертировать
VS
и на го-карбоне )
VS
я решил что проще как раз сразу в бинаре пердеать
SK
ну я пока стыковал что есть, свое если и писал то совсем немного. Когда решение выстроится допилю бинарь там где требуется.
SK
джсон на период отладки удобнее :)
VS
а какой функционал хочется от relay'а?
VS
кроме "принять в графитном формате" и "выплюнуть в кафку в топик"
SK
а мне не нужен релей в моей архитектуре
SK
ну по крайней мере пока не нужен
SK
агенты прям в кафку лить будут
SK
отдельным потоком будет насыщение тегами которое будет заливаться в еластик, ну и там всякая служебка в него же будет литься, а потом это все в затемлейченную с ног до головы графану буддет выдаваться
VS
у нас в плане агентов все умеет только стандартный graphite_line_protocol :)