К
нет свопа?
своп отключен нахрен. памяти 128 гигов, используется 20
Size: a a a
2019 March 14
RS
Может попробовать монгу ограничить по количеству файловых хэндлов?
NA
как и обсудили в ЛС, обновите на 19.1, там были правки в фпта. Если проблема не уйдет, будем решать.
К
Может попробовать монгу ограничить по количеству файловых хэндлов?
пока проще правило пристрелить) потом проапгрейдится... потому что завалившаяся из-за неоткрытого файла монга - тоже не весело
NA
через релиз монга и редис вообще покинут поточный SIEM
К
отлично! а не объединить обогащатор и нормализатор и после этой пары часть событий сразу кидать в сторейдж? ещё можно разделить сторейдж для нормализованных и не нормализованных событий - тоже должно повысить производительность
К
то есть сырых и нормализованных
NA
тогда вы часть логики корреляции перенесете в нормализацию :)
NA
сейчас сырые и нормализованные хранятся в разных индексах
NA
если предложение в том, чтобы вообще разные СУБД для этого использовать - то мы об этом думаем )
К
тогда вы часть логики корреляции перенесете в нормализацию :)
по факту сейчас живет в обогащении только та часть логики, которая работает с большими списками, либо реально обогащает события доп информацией. в дальшейшем планируем такого подхода и придерживаться (потому что в 19.1 есть аспект с синхронизацией списков в корреляции)
К
в 19.0 это была вынужденная мера, потому что иначе оно просто умирало совсем =(
К
если предложение в том, чтобы вообще разные СУБД для этого использовать - то мы об этом думаем )
может и одну, но с возможностью положить на два раздельных сервера
NA
не у каждого заказчика найдется пара лишних серверов исключительно под Elastic
К
потому что сейчас на большом потоке мы упираемся в производительность storage и решаем проблему отключением исходных для нормализованных...
NA
на каком кол-ве EPS начинатся проблемы?
К
не у каждого заказчика найдется пара лишних серверов исключительно под Elastic
не обязательно лишних, можно ластик засунуть на кору... а если на отдельном сервере ещё и очередь исходных вести, то можно вообще начинать скипать события, если очередь переполнилась...
NA
дропать события? мы бы с радостью, но нас же стразу предадут анафеме и сожгут
К
дропать события? мы бы с радостью, но нас же стразу предадут анафеме и сожгут
исходные же. так их просто отключать приходится =(
e
на каком кол-ве EPS начинатся проблемы?
@Teh_VarMaster Если не затруднит, то ответьте, пожалуйста.