Size: a a a

Сбор и аналитика системных сообщений

2021 February 25

TF

Terry Filch in Сбор и аналитика системных сообщений
Vovan
loki, elastic stack, splunk, syslog и файлики
да тот же rsyslog и писать в clickhouse + grafana сверху что бы рисовать
источник

ЕК

Евгений Кондратенко... in Сбор и аналитика системных сообщений
Спасибо, погляжу :)
источник

Г

Гайрат in Сбор и аналитика системных сообщений
Terry Filch
да тот же rsyslog и писать в clickhouse + grafana сверху что бы рисовать
vector!
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
ну или да
источник

EB

Eugene Boyko in Сбор и аналитика системных сообщений
Евгений Кондратенко
Друзья привет.
Подскажите, нет ли инструмента, подобного данному: https://loganalyzer.adiscon.com/ ?
Вышеуказанный выглядит как-то совсем устаревше. Интересует анализ логов, без построения графиков и прочей визуализации. Логи не имеют четкой структуры и формата, это просто рандомный текст в каждой строке. Цель: получить возможность наблюдать за логами разных сервисов в одном месте через веб-интерфейс и применять различные фильтры.
еще graylog. там из относительно времязатратных настроек только filebeat + сертификаты на целевых хостах.
источник

AS

Anton Smolkov in Сбор и аналитика системных сообщений
Eugene Boyko
еще graylog. там из относительно времязатратных настроек только filebeat + сертификаты на целевых хостах.
Правда по капотом  JVM-монстр с газилиардом настроек и вечно приходящим OOM, а так да)
источник

EB

Eugene Boyko in Сбор и аналитика системных сообщений
Anton Smolkov
Правда по капотом  JVM-монстр с газилиардом настроек и вечно приходящим OOM, а так да)
это уже другая сторона медали  ))
еще arcsight есть, у него аналитика хорошая и конструктор построения запросов, но уж больно многоденег.
источник

AS

Anton Smolkov in Сбор и аналитика системных сообщений
Вроде по описанию локи должен подойти
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
tailon что-то никто не насоветовал :) но там вроде только логи посмотреть и все
источник

В

Вадим in Сбор и аналитика системных сообщений
Anton Smolkov
Вроде по описанию локи должен подойти
Локи - однозначно
источник

V

Vovan in Сбор и аналитика системных сообщений
Anton Smolkov
Правда по капотом  JVM-монстр с газилиардом настроек и вечно приходящим OOM, а так да)
ну хз, у меня ластик 31млрд сообщений держит в две жирных ноды :)
источник

V

Vovan in Сбор и аналитика системных сообщений
вопрос в том, как настраивать ластик и индексы
источник

AS

Anton Smolkov in Сбор и аналитика системных сообщений
по 3 символа на сообщение? )
источник

V

Vovan in Сбор и аналитика системных сообщений
Anton Smolkov
по 3 символа на сообщение? )
ну есть и по 1 миллиону символов в филде
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Vovan
ну есть и по 1 миллиону символов в филде
Мегабайт в одной записи? O_o
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
источник

V

Vovan in Сбор и аналитика системных сообщений
Sergey Pechenkó
Мегабайт в одной записи? O_o
угу.. body ответа логгировали :)
источник

A

Alexander in Сбор и аналитика системных сообщений
Vovan
угу.. body ответа логгировали :)
Уж лучше так, что логи в хедерах http-ответа :)
источник

DT

Damir Tazetdinov in Сбор и аналитика системных сообщений
Eugene Boyko
это уже другая сторона медали  ))
еще arcsight есть, у него аналитика хорошая и конструктор построения запросов, но уж больно многоденег.
цена эт да... но функционал у него хороший. Да и коннекторы у них шикарные, особенно после последнего обновления (они их переработали улучшив производительность и открыли парсеры)
Сейчас ещё вроде хотят уйти от логгера в сторону рекона (если я правильно понял).
источник

AS

Anton Smolkov in Сбор и аналитика системных сообщений
Vovan
ну хз, у меня ластик 31млрд сообщений держит в две жирных ноды :)
20 млрд, 4,5 тб. Но мы устали с ним.
источник