RS
В 18 версии однозначно так работало.
Очень вряд ли. Но смысла в этой археологии всё равно уже нет
Size: a a a
2020 April 21
ВМ
К сожалению ещё не все перешли на новую версию. 21 Сертифицировали только недавно и потребуется ещё какое-то время прежде чем клиенты обновятся.
v
Коллеги, может быть кто-нибудь сможет все же подсказать по рассчету величины хранилки? сколько места занимает архивация индексов эластика, общим размером в 1Тб?
e
Коллеги, кто сможет подсказать приблизительный процент сжатия логов при архивации?
Так логов или индексов ES (это разные штуки, если что)?
v
Сейчас я чото в ступоре)
v
Чем хранилка то забивается? сырыби и нормализованными событиями
RS
Сейчас я чото в ступоре)
ну вы исходно вопрос сформулировали так, что я тоже решил, что вас интересует степень сжатия логов от компонентов SIEM
v
ну вот в админ гайде есть по ротации и архивации глава, там вроде про индексы всё
v
нет нет, интересует именно архивация того, что поступает в хранилку
v
место кончается, и непонятно, сколько нужно выделить на сами архивы
v
по расчетам нынешней инфраструктуры забивается примерно 200Гб в месяц, выходит 1.4 ТБ в год, а сколько это в сжатом виде?..
v
процент сжатия хотя бы приблизительный нигде не написан
RS
чуда там нет
сжатие будет на первые десятки процентов плюс-минус
конкретные цифры зависят от данных очень
сжатие будет на первые десятки процентов плюс-минус
конкретные цифры зависят от данных очень
v
чуда там нет
сжатие будет на первые десятки процентов плюс-минус
конкретные цифры зависят от данных очень
сжатие будет на первые десятки процентов плюс-минус
конкретные цифры зависят от данных очень
данные по тому, какие события хранятся?
v
там же они все в текстовой форме вроде бы выходят, нет?
e
процент сжатия хотя бы приблизительный нигде не написан
Из моего опыта архивирования индексов ES в MP SIEM - они практически не сжимаются. То есть процесс архивирования это скорее про перенос на другую хранилку и удаление индексов из индексируемой схемы. Если нужно освободить место на хранилке - удалите RAW-события (кроме последней недели), т к очень маловероятно, что их кто-то когда-нибудь будет смотреть.
A
нет нет, интересует именно архивация того, что поступает в хранилку
давайте определимся речь про то что поступает в эластик и хранится в индексах или про бекапы из эластика на фс ?
v
давайте определимся речь про то что поступает в эластик и хранится в индексах или про бекапы из эластика на фс ?
Речь по то, чем забивается раздел данных в ES
v
в моем понимании (может не слишком глубоком) - это в основном сырые и нормализованные события
v
опять же в моем понимании это и есть индексы ES