NA
я намекаю, что аппаратный рейд обычно управляет тем, какой кэш используется
уверены?
Size: a a a
2020 November 12
e
в 22м это было упомянуто исключительно как настройки по-умолчанию. tailcutter при этом ничего не архивировал, а вполне себе сносил индексы старше
В этом соглашусь - стандартный curator как-то удобнее и понятнее. Я использую его.
i
реальный опыт - минимальные требования взяты с потолка и соответствуют какому-то неизвестному паттерну, на котором тестировались (если вообще тестировались, в чем есть сомнения)
m
/me Опять же думает, что здесь есть ненулевое количество пользователей SIEM. у которых >20Тб в онлайне на HDD и почему-то продолжает работаеть
i
max
/me Опять же думает, что здесь есть ненулевое количество пользователей SIEM. у которых >20Тб в онлайне на HDD и почему-то продолжает работаеть
вы хотите сказать, что у вас так и работает?
NA
реальный опыт - минимальные требования взяты с потолка и соответствуют какому-то неизвестному паттерну, на котором тестировались (если вообще тестировались, в чем есть сомнения)
Ну вот смотрите, заглянув в графану я там вижу 10-15К IOPS на серваке с Elastic на потоке в 25-30К EPS (R+W)
NA
соответственно наложите на то, что написано в админгайде про дисковые полки и их кол-во для разного потока
i
В этом соглашусь - стандартный curator как-то удобнее и понятнее. Я использую его.
сейчас: По умолчанию срок хранения индексов — 365 дней. Утилита ротации индексов автоматически запускается каждые 30 минут и при превышении этих значений удаляет старые индексы.
AS
сейчас: По умолчанию срок хранения индексов — 365 дней. Утилита ротации индексов автоматически запускается каждые 30 минут и при превышении этих значений удаляет старые индексы.
Вы хотите хранить данные за год без архивации? Про какой все таки эластик речь 1.7 или 7? Сколько индекс за сутки?
i
Ну вот смотрите, заглянув в графану я там вижу 10-15К IOPS на серваке с Elastic на потоке в 25-30К EPS (R+W)
так, и при чем здесь поток в 20к епс, если ваш сием переваривает максимум 30к, а мы сейчас говорим про "минимальные требования"?
e
сейчас: По умолчанию срок хранения индексов — 365 дней. Утилита ротации индексов автоматически запускается каждые 30 минут и при превышении этих значений удаляет старые индексы.
Мне запомнилось, что был параметр, отвечающий именно за архивацию индексов + за удаление. Но я не часто заглядываю в гайды, возможно, сейчас он не описан.
В любом случае, рекомендация в чате это тоже рекомендация =) - оставляйте активные индексы за 90 дней. Больше для регулярной работы аналитика не нужно.
В любом случае, рекомендация в чате это тоже рекомендация =) - оставляйте активные индексы за 90 дней. Больше для регулярной работы аналитика не нужно.
NA
так, и при чем здесь поток в 20к епс, если ваш сием переваривает максимум 30к, а мы сейчас говорим про "минимальные требования"?
вопрос про производительность дисковой подсистемы. Это почти прямой ответ на него.
m
вы хотите сказать, что у вас так и работает?
прямо у меня нет под рукой подходящего примера, но я вполне видел инсталляции на HDD c RAID10 и они вполне успешно работали.
i
минимальные требования: 10 дисков 7200 емкостью не менее 4 ТБ каждый в рейд 10. утверждается, что на полной заполненности индексами 20тб ES будет стабильно обрабатывать поток.
NA
минимальные требования: 10 дисков 7200 емкостью не менее 4 ТБ каждый в рейд 10. утверждается, что на полной заполненности индексами 20тб ES будет стабильно обрабатывать поток.
какой поток?
i
max
прямо у меня нет под рукой подходящего примера, но я вполне видел инсталляции на HDD c RAID10 и они вполне успешно работали.
я не отрицаю, что подобная инсталляция может существовать. вопрос в том, каков реально занятый индексами объем дисков.
i
какой поток?
какая разница? у вас про поток ничего не указано
i
ни про какие 15к епс речь там идти не будет даже близко
NA
Ясно все. Давайте сразу, чтоб вы поняли. Я не являюсь сотрудником ПТ. Советую Вам почитать принципы работы ES в части хранения данных и поднятия этих данных с дисков при обработке запросов. Думаю, много станет более понятным