G
Уберешь логстеш, поставишь рсислог и Кафку - что получится?)
Size: a a a
2020 October 17
DS
Омг, ну ты отфильтруй стрим как тебе надо вон я же тебе доку дал
Тема, фильтровать логи и отправлять их в стрим итак понятно. Это ОЧЕВИДНО. тротлинг это когда данные в БАЗУ(elastic) НЕ попадают по каким-то условиям
DS
Стримы тут ваще не причем
AS
Ты можешь это настроить тоже
AS
Задав параметры стрима на входе
DS
Уберешь логстеш, поставишь рсислог и Кафку - что получится?)
у меня и rsyslog тоже в graylog шлет =)
AS
Там все вообще настраивается
AS
Либо поставив ещё один грейлог в цепочку
AS
Первый будет все фильтровать никуда не сохраняя
DS
Задав параметры стрима на входе
стрим никак не тротлит, он просто отправляет логи в СТРИМ по какому-то условию. но все эти логи НЕ ЗАВИСИМО от того попадут они в стрим или нет, все равно будут в базе (в еластике). Ты реально не понимаешь о чем я говорю?
AS
Можешь либо сразу сохранять либо дальше слать
AS
Нет не понимаю. Зачем они будут в еластике, если на входе стрима я что не нужно отброшу просто,
DS
Можешь либо сразу сохранять либо дальше слать
дропать по условию или отправлять их в другое место тоже понятно как. Но тротлить это про другое.
Это когда у тебя условно пришло миллион одинаковых логов а записал ты только одно сообщение, и только оно попадо в базу
Это когда у тебя условно пришло миллион одинаковых логов а записал ты только одно сообщение, и только оно попадо в базу
DS
Нет не понимаю. Зачем они будут в еластике, если на входе стрима я что не нужно отброшу просто,
то что ты отбросишь на входе стрима ваще без разницы. Они все равно будут в базе еластика
DS
дропать по условию или отправлять их в другое место тоже понятно как. Но тротлить это про другое.
Это когда у тебя условно пришло миллион одинаковых логов а записал ты только одно сообщение, и только оно попадо в базу
Это когда у тебя условно пришло миллион одинаковых логов а записал ты только одно сообщение, и только оно попадо в базу
я думал ты про это и говорил, по этому и спрашивал
AS
rule "forget about bots" when has_field("http_user_agent") && contains(value: to_string($message.http_user_agent), search: "bot", ignore_case: true) then drop_message(); end
DS
rule "forget about bots" when has_field("http_user_agent") && contains(value: to_string($message.http_user_agent), search: "bot", ignore_case: true) then drop_message(); end
Тема, я пример такого же pipeline тебе выше писал. Я ЗНАЮ как дропать логи по условию, но это не тротлинг
AS
Всо что bot в еластик не попадёт
GG
да много нюансов есть, и чем больше нагрузка тем их больше. И ты либо уходишь на bare-metal и платишь небольшие деньги за базу, либо живешь в облаке и заливаешь это деньгами
Бер метал не решение
GG
Типовая нода 32 Проца 512 гиб озу