Короче, у меня тут сервис есть лям рпс, он в логи срет как не в себя. Ну тут встал вопрос что там надо было вытянуть одно поле оттуда (давно еще, прошлым летом). Поясню, у нас есть нормальные логи, это просто хак.
Там кто-то сделал пруф оф концепт парсинга логов напрямую из IISLogs. Ну там подрубили кластер хуястер, 20 машин и они парсили трафик одного дц и в итоге, но не справились и все забили. Я тут взялся за эту же задачу (она никуда не делась).
В старых добрых традициях гопак сожрал четверь ляма рпс и еще приходится спать, т.к. он еще вперед убегает (отрицательный лаг).
Это я тоже один дц парсил. в целом можно на одной тачиле и все на грудь принять, там только 50% цпу и 100мбит трафика логов идет
А вы в женеву не складываете логи?