Size: a a a

SOС Технологии

2020 August 09

RI

Ruslan Ivanov in SOС Технологии
Там весь вопрос в качестве такого анализа
источник

RI

Ruslan Ivanov in SOС Технологии
Безусловно, все кто ел огурцы двести лет назад - мертвы. Огурцы надо запретить? 😂
источник

NA

Nikolai Arefiev in SOС Технологии
Я меня пока нет той полноценной аналитики, на основе которой я бы мог, скажем, apple to apple сравнится с аналитикой Cisco и оперируя фактами доказывать что-то. Как я и писал когда-то тут, расценивай те мои данные как "забавные наблюдения".
источник

NA

Nikolai Arefiev in SOС Технологии
Всегда, когда начинаешь заползать на поле крупных компаний, сталкиваешься с позицией: Ваш продукт/данные/аналитика - фигня. Это нормальная реакция :) Отрицание, гнев... и т.д., ну вы понимаете.
источник

RI

Ruslan Ivanov in SOС Технологии
Nikolai Arefiev
Я меня пока нет той полноценной аналитики, на основе которой я бы мог, скажем, apple to apple сравнится с аналитикой Cisco и оперируя фактами доказывать что-то. Как я и писал когда-то тут, расценивай те мои данные как "забавные наблюдения".
Коль, я тебе больше того скажу - такое сравнение тоже в некотором роде лишено смысла. Сравнить надо работу аналитики на одинаковых исходных данных, а у нас они, безусловно, разные
источник

RI

Ruslan Ivanov in SOС Технологии
Nikolai Arefiev
Всегда, когда начинаешь заползать на поле крупных компаний, сталкиваешься с позицией: Ваш продукт/данные/аналитика - фигня. Это нормальная реакция :) Отрицание, гнев... и т.д., ну вы понимаете.
Я не говорил, что они фигня
источник

NA

Nikolai Arefiev in SOС Технологии
Ruslan Ivanov
Коль, я тебе больше того скажу - такое сравнение тоже в некотором роде лишено смысла. Сравнить надо работу аналитики на одинаковых исходных данных, а у нас они, безусловно, разные
Если встать на место конечно потребителя, то мне без разницы какие там у кого данные. Важно насколько аналитика своевременна, полна и точна.
источник

NA

Nikolai Arefiev in SOС Технологии
Если производитель такого анализа гадает на кофейной гуще и все время угадывает, ну, ОК
источник

AL

Alexey Lukatsky in SOС Технологии
Nikolai Arefiev
Если встать на место конечно потребителя, то мне без разницы какие там у кого данные. Важно насколько аналитика своевременна, полна и точна.
Если отбросить в сторону экстрасенсорику и уникальные аналитические способности человека (аналитика не должна зависеть от конкретного человека), то качество аналитики во многом зависит от качественно размеченного датасета и используемых моделей. Если модели могут быть одинаково хороши и у ИБ-монстра и у одиночки, то вот с датасетом засада. Его составить могут немногие лишь. Поэтому размер имеет значение. В том числе и для потребителя
источник

NA

Nikolai Arefiev in SOС Технологии
Тут конечно можно поспорить на том насколько репрезентативен датасет и каков его минимально необходимый и достаточный объем, чтобы "вскрыть" "искомый" тренд или ответить на "искомый" вопрос. Но не буду :)
источник

NA

Nikolai Arefiev in SOС Технологии
Чисто философски: Не в общем объеме дело, а в наборе тех датасетов, которые и хранят в себе закономерности. Вопрос в фича-селекшене :) Можно собрать и 10 ПБ данных и ничего в них не найти, а можно 10 ГБ и найти искомые закономерности.
источник

AL

Alexey Lukatsky in SOС Технологии
Nikolai Arefiev
Чисто философски: Не в общем объеме дело, а в наборе тех датасетов, которые и хранят в себе закономерности. Вопрос в фича-селекшене :) Можно собрать и 10 ПБ данных и ничего в них не найти, а можно 10 ГБ и найти искомые закономерности.
Это как раз зависит от модели и качества/объема датасета. Атрибуты для разных сорсов уже известны. Около 800 для файлов, около 600 для http, около сотни для netflow, несколько десятков для dns и тп. То есть сейчас это уже не бином Ньютона
источник

NA

Nikolai Arefiev in SOС Технологии
Сколько из этих атрибутов определяющих :)
источник

NA

Nikolai Arefiev in SOС Технологии
в том же ML есть понятие dimensionality reduction для выделения значимых фичей
источник

AL

Alexey Lukatsky in SOС Технологии
Если тебе нужно понять один тренд по одной кампании, то да, хватит и 10 Гб. Но если хочется понимать тренды в динамике и глобально, тебе нужен соответствующий датасет с кучи сорсов по всему миру/региону. Это уже точно не гигабайты. И могут это сегодня далеко не все. Либо глобальные вендора, либо сообщество, но с последним пока беда
источник

AL

Alexey Lukatsky in SOС Технологии
Nikolai Arefiev
Сколько из этих атрибутов определяющих :)
А пока не поработаешь со всеми, не поймешь ;-) Для разных моделей и атрибуты будут разные
источник

NA

Nikolai Arefiev in SOС Технологии
"либо сообщество, но с последним пока беда" будем считать что у меня бедовая аналитика ))))))
источник

AL

Alexey Lukatsky in SOС Технологии
У тебя же разные можели дают разную точность и скорость. Ищешь баланс (в том числе его и настроить можно в продукте). Для этого и нужны многие атрибуты
источник

AL

Alexey Lukatsky in SOС Технологии
Nikolai Arefiev
"либо сообщество, но с последним пока беда" будем считать что у меня бедовая аналитика ))))))
У тебя данные со всего мира собираются?
источник

NA

Nikolai Arefiev in SOС Технологии
почти со всех открытых источников :) т.ч. данные есть из абсолютно разных частей мира
источник