Всем привет. Возможно, кто-то тут уже успешно избавился от логстеша в ELK и реализовал обогащение событий прямо в beats. Что использовали? Свой модуль к битам на go/script processor/что-то еще? Поток большой, эластиковый enrich indices не особо подходит.
Весьма субъективное сравнение, на 2к+ хостов свою задачу доставки логов он выполняет исправно да и нормализация логов на лету у него как-то более разумно сделана.
Это не наброс, а эпический факт. Поточная обработка событий на опенсорц - не самая сильная его сторона. Хранение и аналитика - норм, но поточность хромает