IM
Ужос... Клик умеет из Кафки оут оф ве бокс... А в кафку умеют Логстеши всякие... А там с нормализацией вроде все нормально...
Size: a a a
2020 February 03
NA
да и это дико геморно
За то убер-быстро работает
NA
Если, конечно, не делать JOIN и GROUP BY
HD
если ты строишь не SOAR то скорость не приниципиально. При реальном времени разбора инцедента прирост скорости в алертинге даже в 60 секунд ничего не дает
HD
Ужос... Клик умеет из Кафки оут оф ве бокс... А в кафку умеют Логстеши всякие... А там с нормализацией вроде все нормально...
@imelekhin я так и не понял зачем из Senitel что-либо экспортировать. Как-то коррелировать события с эндопионта с событиями из облака office365?
NA
HELK пробовали?
IM
там много контента ниписанного в стиле sql запросов к базе
A
HD
я собственно от него и взял идею. Пробелма в том что мне нужно будет это реалиовать на проде и тут жу е скриптами не обойдешься нужно будет все это нормально devops сить. Собственно интересно есть ли другие решения?
HD
мне например не оч понятно зачем там spark, из jypiter и python можно слать запросы напрямую в elk без spark`а
NA
Потому, что когда надо перелопатить большой объем данных Elastic становится нехорошо + всякий изврат типа ML можно сделать готовыми библиотеками.
NA
Из чего-то похожего, энтерпрайзного, в виде платформы для анализа данных, мне действительно в голову приходит только Splunk.
IM
В Сентинел прикручены Jupiter прям внутри. И он может не только офис 365. Но не может не из облака. СОвсем
JD
В Сентинел прикручены Jupiter прям внутри. И он может не только офис 365. Но не может не из облака. СОвсем
на мой поверхностный взгляд это хорошое решение, но его нужно интегрировть со всем остальным чисто на уровне алертов
HD
Потому, что когда надо перелопатить большой объем данных Elastic становится нехорошо + всякий изврат типа ML можно сделать готовыми библиотеками.
У меня elk в кластере и все переваривает, я так понимаю что если в производительностью все ок то можно его и не юзать. Про ML тож не понял, там spark как готовый транспорт из-за этого? Дисклеймер: просто хочеться чуть себе упростить задача перед тем строить эту часть систему
NA
Если Вам потребуется еще как-то потрансформировать данные, то без Спарка это будет сложно сделать. Или посчитать что-то на временном окне.
IM
на мой поверхностный взгляд это хорошое решение, но его нужно интегрировть со всем остальным чисто на уровне алертов
про "на уровне алертов" - не понял.
NA
В общем: трансформация данных + ML + жирные запросы, если ES не хватит