AS
Плевое дело я не говорил
Size: a a a
2020 October 17
AS
Мало того, я сказал что это стоит сотку и минимум неделю.
AS
Тут всего надо реализовать инкремент и выделить регексп, по которому сразу создать новый стрим.
AS
Это реализуемо с помощью наивных пайплайнов грейлога
AS
GG
Тут всего надо реализовать инкремент и выделить регексп, по которому сразу создать новый стрим.
Это сколько у тебя стримов то будет ?
AS
А то что их может быть миллион в задаче не было. Вангую, щас появится!
GG
На каждый тип сообщения что ли отдельный ?
DS
Плевое дело я не говорил
ну если это реализуется средствами graylog на pipeline'ах например - то это плевое дело как по мне
Если конечно надо допиливать graylog, вспоминать java - то это уже сложно
Ну ок, можно считать не плевым делом
Если конечно надо допиливать graylog, вспоминать java - то это уже сложно
Ну ок, можно считать не плевым делом
AS
Смотря как сгруппирлвать вход
GG
Выглядит, что тротилинг логов тупая задача
TL
А то что их может быть миллион в задаче не было. Вангую, щас появится!
Ну, имхо, было бы справедливо считать, что это реализуемо на типичном проде, а не "чиста на коленке игрушечный пример можно поднять, но в реальности это не будет работать никогда"
DS
Тут всего надо реализовать инкремент и выделить регексп, по которому сразу создать новый стрим.
так это же изи делается, я тебе это накидаю за 10 минут, только так тротлинг ты не сделаешь. Сотка это дохера, для такой задачи - сорян
GG
И нужно это делать в сентри )
GG
А в грейлог слать нормальные логи, а не эту помойку
DS
А то что их может быть миллион в задаче не было. Вангую, щас появится!
да делай сколько угодно. Пожалуйста
AS
Ну, имхо, было бы справедливо считать, что это реализуемо на типичном проде, а не "чиста на коленке игрушечный пример можно поднять, но в реальности это не будет работать никогда"
Смотря какой инпут и кто туда пишет. И как там группировать. Если у меня пхп падает, мне нужен лог нджинкс, это один стрим
AS
И там трех дополнительных для этого хватит.
DS
Если на 30К согласен задача такая: В случае если в graylog приходит 1000 идентичных логов в течении минуты, оставлять только один из них. То есть в elasticsearch должен попасть только один лог.
AS
А если там ьыща китайцев генерят логи, очевидно такой подход в рамках прода не решается только в теории