Логстэш не вывозит такую нагрузку. Увеличили батч, если сделать оутпут в файл, то более или менее справляется, но если оутпут направить в эластик, то вообще непонятно что происходит, данные до эластика не доходят
40к это текущее состояние, в планах увеличение до 100к. Так что нужен какой-то очень быстрый механизм
можно это еще попробовать помимо fluentd https://vector.dev/ Но имхо если уж хотите 100к в секунду, то бояться кластера странно. Как бы вам в дальнейшем еще кафку туда впихивать не пришлось
можно это еще попробовать помимо fluentd https://vector.dev/ Но имхо если уж хотите 100к в секунду, то бояться кластера странно. Как бы вам в дальнейшем еще кафку туда впихивать не пришлось