NK
ml - нейросети и искусственный интеллект? Сейчас некоторые вендоры предлагают это в облаках при анализе вредоносов ( работает проверяли ) а вот по выявлению аномалий в логах это видимо другая задача.
Size: a a a
2018 June 06
NK
Но если у тебя 100к епс наверняка это огромная инфраструктура и нужна такая же приличная инфраструктура по сбору всего от всюду. Как этим всем управлять. Это же тысячи задач по сбору?
Нет, не огромная, например, для медиа это совсем не много. Не большая проблема управлять: типизируй, собирай кластер из одинаковых узлов. На том же ELK такую хрень можно сделать с затратами на инфраструктуру в пределах 500 тыс унылых енотов, если совсем денег нет, то можно хорошо подумать и уложиться в 300 тыс. Но это уже будет напряжно с точки зрения отказоустойчивости.
12
И источников. Их типов. Вариантов сбора. И главное из за нарезки сегментов множество сборщиков.
Можно начинать с вопроса «что собирать то?»
B
И источников. Их типов. Вариантов сбора. И главное из за нарезки сегментов множество сборщиков.
Я бы сказал наоборот, те компании у которых децентрализация и например 100к юзеров по всей стране, ИБ занимаются несколько менее активно моих примеров и централизуют operations обычно очень вальяжно
v
ID:339250091
Нет, не огромная, например, для медиа это совсем не много. Не большая проблема управлять: типизируй, собирай кластер из одинаковых узлов. На том же ELK такую хрень можно сделать с затратами на инфраструктуру в пределах 500 тыс унылых енотов, если совсем денег нет, то можно хорошо подумать и уложиться в 300 тыс. Но это уже будет напряжно с точки зрения отказоустойчивости.
Выше @bdr777 написал что это "head" предположил что там есть другие части тела
B
v
Согласен.
DS
что есть штатка? - бизнес приклад?
B
что есть штатка? - бизнес приклад?
Организационно-штатная структура
v
Давайте вернёмся к интересному обсуждению как построиться soc на 100к епс. (Вопрос Надо ли вообще отложим пока в сторону) Собственно если я правильно понимаю идею @bdr777 -
1. Берём что-то на базе hadoop для хранения
2. Берём elk для сбора если верить Евгений Соколов . Наверно речь только про букву L из этого сокращения.
Нам что-то ещё нужно для работы с этими данными?
Наверно я бы дослушал мнение одной компании/команды
1. Берём что-то на базе hadoop для хранения
2. Берём elk для сбора если верить Евгений Соколов . Наверно речь только про букву L из этого сокращения.
Нам что-то ещё нужно для работы с этими данными?
Наверно я бы дослушал мнение одной компании/команды
B
Давайте вернёмся к интересному обсуждению как построиться soc на 100к епс. (Вопрос Надо ли вообще отложим пока в сторону) Собственно если я правильно понимаю идею @bdr777 -
1. Берём что-то на базе hadoop для хранения
2. Берём elk для сбора если верить Евгений Соколов . Наверно речь только про букву L из этого сокращения.
Нам что-то ещё нужно для работы с этими данными?
Наверно я бы дослушал мнение одной компании/команды
1. Берём что-то на базе hadoop для хранения
2. Берём elk для сбора если верить Евгений Соколов . Наверно речь только про букву L из этого сокращения.
Нам что-то ещё нужно для работы с этими данными?
Наверно я бы дослушал мнение одной компании/команды
Питон?:) Серьезно, нужны бизнес требования хоть какие то, иначе можно взять картинку метрона и с ее начать
IH
Хадуп хранилка, эластик искалка, логстеш собиралка, кибана отображалка. Если по простому. И да, питоном автоматизировать то, что нужно. Как говорил наш коллега Забелин
IH
А метроны для упрощения обработки потока
v
Питон?:) Серьезно, нужны бизнес требования хоть какие то, иначе можно взять картинку метрона и с ее начать
Ну мы же тут пытаемся собрать сферического коня. Он на то и сферический, чтоб без конкретных бизнес требований.
Однако мы здесь обсуждаем soc'и которые про ИБ. Инциденты ИБ связанные с атаками, хакерами, внутренними дураками, массовыми малвари вот это вот всё. Это то что интересно большинству здесь сидящих.
Однако мы здесь обсуждаем soc'и которые про ИБ. Инциденты ИБ связанные с атаками, хакерами, внутренними дураками, массовыми малвари вот это вот всё. Это то что интересно большинству здесь сидящих.
v
Так что я бы продолжил слушать высказанное мнение потому что если честно пока совершенно не понимаю как с этим работать. Кому правила писать. Как логи парсить
v
На 100к епс и столь большую инфраструктуру (не будем брать случаи где это один источник) у нас будет три десятка различных типов устройств и тысячи источников генерирующих события.
12
Хадуп хранилка, эластик искалка, логстеш собиралка, кибана отображалка. Если по простому. И да, питоном автоматизировать то, что нужно. Как говорил наш коллега Забелин
Скачать исходники с elastic.co и будет тебе сок? Наврятли.
Есть уверенность что потянет 100к епс постоянного потока? Из интернетов говорят что даже 10к не тянет
Есть уверенность что потянет 100к епс постоянного потока? Из интернетов говорят что даже 10к не тянет
B
Ну мы же тут пытаемся собрать сферического коня. Он на то и сферический, чтоб без конкретных бизнес требований.
Однако мы здесь обсуждаем soc'и которые про ИБ. Инциденты ИБ связанные с атаками, хакерами, внутренними дураками, массовыми малвари вот это вот всё. Это то что интересно большинству здесь сидящих.
Однако мы здесь обсуждаем soc'и которые про ИБ. Инциденты ИБ связанные с атаками, хакерами, внутренними дураками, массовыми малвари вот это вот всё. Это то что интересно большинству здесь сидящих.
Эмм, я не специалист по сферическим коням и даже пытаюсь таких не нанимать. В известных мне soc с таким потоком бизнес требования совсем не такие как ты описал
IH
Скачать исходники с elastic.co и будет тебе сок? Наврятли.
Есть уверенность что потянет 100к епс постоянного потока? Из интернетов говорят что даже 10к не тянет
Есть уверенность что потянет 100к епс постоянного потока? Из интернетов говорят что даже 10к не тянет
Нет, я комментировал только пассаж про Л. Про безумные ёпсы это к метрону, но там тоже ёлка в хадупе
v
Эмм, я не специалист по сферическим коням и даже пытаюсь таких не нанимать. В известных мне soc с таким потоком бизнес требования совсем не такие как ты описал
А эти бизнес требования они вообще про ИБ. Я начинаю терять нить диалога.