v
и проблема в том, что диск заполнен на 90 процентов, заказчик хочет архивировать и освободить место, но, как мы выяснили только что, выходит что архивация не сжимает логи настолько, что бы место освободилось значительно
Size: a a a
2020 April 21
A
в моем понимании (может не слишком глубоком) - это в основном сырые и нормализованные события
три типа данных всего может быть, это нормализованные (ptsiem_events), сырые(ptsiem_r) и счетчики производительности(ptsiem_c)
A
опять же в моем понимании это и есть индексы ES
верно, данные которые из сием поступают в ес хранятся в так называемых индексах.
v
три типа данных всего может быть, это нормализованные (ptsiem_events), сырые(ptsiem_r) и счетчики производительности(ptsiem_c)
да, видел там все три индекса
v
Из моего опыта архивирования индексов ES в MP SIEM - они практически не сжимаются. То есть процесс архивирования это скорее про перенос на другую хранилку и удаление индексов из индексируемой схемы. Если нужно освободить место на хранилке - удалите RAW-события (кроме последней недели), т к очень маловероятно, что их кто-то когда-нибудь будет смотреть.
В связи с этим вопрос - а можно ли удалить несколько индексов одной командой? в гайде есть только удаление по одному
A
и проблема в том, что диск заполнен на 90 процентов, заказчик хочет архивировать и освободить место, но, как мы выяснили только что, выходит что архивация не сжимает логи настолько, что бы место освободилось значительно
по сжатию я недавно проводил опыт и у меня вышло что на маленьком индексе 8.5 гиг исходных сырых данных в ес создался индекс размером 1.2гб
A
при размере исходных 400г, в ес было 600г
A
в первом случае 1.4 во втором 0.66
A
еще от самим данных в исходном будет зависеть как их пожмет ес.
A
и проблема в том, что диск заполнен на 90 процентов, заказчик хочет архивировать и освободить место, но, как мы выяснили только что, выходит что архивация не сжимает логи настолько, что бы место освободилось значительно
тут есть два вариант, или удалять старые индексы при помощи tailcutter (утилита идет вместе с сиемом)
A
или делать бекапы и уносить на другой диск, бекапы при помощи es_backup_tools по размерам будут совсем чуть меньше или как сами индексы по размеру.
e
тут есть два вариант, или удалять старые индексы при помощи tailcutter (утилита идет вместе с сиемом)
Или через прямой запрос XDELETE в ES. Так как-то надежнее )
A
В связи с этим вопрос - а можно ли удалить несколько индексов одной командой? в гайде есть только удаление по одному
tailcutter удаляет за один запуск все индексы за одни сутки
A
Или через прямой запрос XDELETE в ES. Так как-то надежнее )
если опыт и мужество позволяет то можно и так )
v
если опыт и мужество позволяет то можно и так )
Мужество может и да, но опыт точно кричит - нет, не делай этого)
v
tailcutter удаляет за один запуск все индексы за одни сутки
мне казалось, что индексы и так расписаны по суткам
v
Например:
/opt/estools/es_backup_tool -cmd deleteindex –host es.example.com --index
ptsiem_events_2017-03-30
/opt/estools/es_backup_tool -cmd deleteindex –host es.example.com --index
ptsiem_events_2017-03-30
v
вот из гайда
A
можно использовать -t
A
тогда индексы старше чем будут удалться