ДБ
Подскажите, как то можно анализировать, сколько событий и какое количество памяти ими занимается, у той или иной задачи?
Size: a a a
2020 October 14
RS
Ну вы можете count посчитать средствами сиема
RS
Конкретно по месту на диске это только через эластик уже
ДБ
ок, спасибо
m
Если нужна оценка, то в мониторинге есть графики по источникам, по модулям сбора и т.д.
RS
диспропорция размеров событий по источникам разных типов безусловно есть, но для качественной оценки count-а может хватить
BG
Коллеги, проясните, пожалуйста, следующий момент:
Допустим, у меня в All-in-One инсталляции хранятся события за последние 90 дней, потом удаляются по TTL.
Если я настрою архивацию индексов по расписанию(с момента создания индекса до архивации 30 дней), архивированные индексы будут всё ещё доступны в интерфейсе MPSIEM?
Или индексы после архивации успешной автоматически удаляются?
Допустим, у меня в All-in-One инсталляции хранятся события за последние 90 дней, потом удаляются по TTL.
Если я настрою архивацию индексов по расписанию(с момента создания индекса до архивации 30 дней), архивированные индексы будут всё ещё доступны в интерфейсе MPSIEM?
Или индексы после архивации успешной автоматически удаляются?
A
Добрый день
A
По умолчанию удаляются, но можно добавить -di false и индексы перестанут удаляться.
BG
понял,спасибо
C
Как работать с источником у которого логи находятся в SQLite?
R
CustomEventCollector?
NA
Всем привет. Вопрос из разряда: "подкапотная кухня". Пытаюсь утащить во внешнюю систему список уникальных IP из событий за последний час. В чем проблема: web-api - ограничение группировок в 1000 элементов, прямой запрос в Elastic - 50 000 бакетов. Может кто сталкивался с подобным и есть альтернативное решение?
RS
а ты же покрутил настройки лимита на агрегации?
NA
так это приведет к увеличению потребления памяти
NA
можно поставить 1 000 000 бакетов, но вот тут есть опасность урониться с OOM
NA
просто если других вариантов нет - это тоже ответ.
NA
хотя, подождите, а как штатный ретропоиск с этим справляется?
GK
Всегда есть вариант - разбить одну большую задачу на много маленьких, например пытаться утащить не за последний час, а 60 раз пытаться утащить нужные данные за 1 минуту🧐
NA
Всегда есть вариант - разбить одну большую задачу на много маленьких, например пытаться утащить не за последний час, а 60 раз пытаться утащить нужные данные за 1 минуту🧐
уже пробовал. 10 сек - более 50К уникальных IP