Size: a a a

MaxPatrol SIEM & VM

2020 November 12

AS

Alexander Stepanov in MaxPatrol SIEM & VM
e6e6e
1. Эти требования это по-большому счету мнение одного человека и у меня по некоторым пунктам есть альтернативное мнение. Но это моя проблема )
2. Мой посыл был в том, что тут всё же очевидная бага. И честно говоря, сегодня я хотел завести в ТП ещё 4-5 других обращения, но чёт передумал. Каждый раз доказывать специалистам техподдержки, что тут бага или что изменения будут действительно полезными, как-то не хочется.
(Опять же - при большом уважении к тебе лично)
я не отрицал багу и не просил её доказывать. Я лишь указал на возможные ошибки в проектировании. Помог чем смог в данный момент ¯\_(ツ)_/¯ а багу завтра смотреть будем
источник

К

Кац in MaxPatrol SIEM & VM
Alexander Stepanov
За частую если хип сайз 30 ГБ не нужен, то наверное и 4 дата ноды ни к чему. Я бы начинал с двух, перейти на 4 не проблема если етсь оперативка. А вот с 4х на две уже больнее
это не так. на 4 ноды перейти вполне себе проблема, особенно если диски не быстрые и на сиеме под потоком.
источник

e

e6e6e in MaxPatrol SIEM & VM
Alexander Stepanov
я не отрицал багу и не просил её доказывать. Я лишь указал на возможные ошибки в проектировании. Помог чем смог в данный момент ¯\_(ツ)_/¯ а багу завтра смотреть будем
За это спасибо!
Ответы в чатике это некоторая вариация волонтёрства =)
источник

AS

Alexander Stepanov in MaxPatrol SIEM & VM
Кац
это не так. на 4 ноды перейти вполне себе проблема, особенно если диски не быстрые и на сиеме под потоком.
Ну само собой для перехода надо остановить поток будет. И для SOC это большая задача. Я к тому что технически такая миграция осуществима без танцев. Вопрос времени. А вот обратный переход это уже сложнее
источник

К

Кац in MaxPatrol SIEM & VM
Alexander Stepanov
Ну само собой для перехода надо остановить поток будет. И для SOC это большая задача. Я к тому что технически такая миграция осуществима без танцев. Вопрос времени. А вот обратный переход это уже сложнее
останавливать не обязательно. но в целом операция далеко не самая тривиальная и может растянуться на многие дни. а ещё может навернуться в процессе и на выходе побить индекс.
источник

AS

Alexander Stepanov in MaxPatrol SIEM & VM
Кац
останавливать не обязательно. но в целом операция далеко не самая тривиальная и может растянуться на многие дни. а ещё может навернуться в процессе и на выходе побить индекс.
Соглашусь. Если есть понимание, что данных будет много и нагрузка высокая, то лучше сразу запастись оперативкой и раскатывать 4 ноды. Хотя в 7м ластике с этим получше
источник

NA

Nikolai Arefiev in MaxPatrol SIEM & VM
resharding больше по дискам бьет, т.к. LSM дерево почти не пересобирается при такой операции
источник

К

Кац in MaxPatrol SIEM & VM
в целом перед изменением числа датанод я бы рекомендовал свалить всё в архивы, оставив в онлайне самый минимум, от объема которого будет зависеть скорость миграции. оставшийся минимум, однако, тоже настоятельно рекомендуется забэкапить.
источник

i

int 0x80 in MaxPatrol SIEM & VM
Alexander Stepanov
Как тебе такое?)
забавно то, что и на "минимальных требованиях" оно не вполне жизнеспособно. ну то есть рухнувший напрочь по дискам ластик после достижения некоторого объема индексов - вполне реальная картина.
источник

NA

Nikolai Arefiev in MaxPatrol SIEM & VM
у 1.7. были такие проблемы, в 7 стало лучше, но тоже есть предел
источник

i

int 0x80 in MaxPatrol SIEM & VM
Nikolai Arefiev
у 1.7. были такие проблемы, в 7 стало лучше, но тоже есть предел
да, 7 переварит 20 Тб индексов на 7200 дисках?)
источник

NA

Nikolai Arefiev in MaxPatrol SIEM & VM
что значит "переварит" ?
источник

NA

Nikolai Arefiev in MaxPatrol SIEM & VM
дьявол в ответе на этот вопрос
источник

i

int 0x80 in MaxPatrol SIEM & VM
Nikolai Arefiev
что значит "переварит" ?
будет стабильно принимать данные и обрабатывать поисковые запросы с группировкой без существенных задержек
источник

NA

Nikolai Arefiev in MaxPatrol SIEM & VM
о каком размере суточного индекса идет речь
источник

NA

Nikolai Arefiev in MaxPatrol SIEM & VM
int 0x80
будет стабильно принимать данные и обрабатывать поисковые запросы с группировкой без существенных задержек
за какой период данных делается группировка?
источник

NA

Nikolai Arefiev in MaxPatrol SIEM & VM
Я вам могу и на Exadata ES положить одним запросом
источник

i

int 0x80 in MaxPatrol SIEM & VM
Nikolai Arefiev
Я вам могу и на Exadata ES положить одним запросом
отлично, думаю, здесь все знают, что сдуру можно и х сломать
источник

NA

Nikolai Arefiev in MaxPatrol SIEM & VM
и да, давайте еще конкретизируем насколько селективен запрос
источник

NA

Nikolai Arefiev in MaxPatrol SIEM & VM
короче много нюансов )
источник