Size: a a a

DevOps — русскоговорящее сообщество

2020 November 19

S

Sebor in DevOps — русскоговорящее сообщество
kkv
403 связана с тем, что через внешку резолвится внутренний ресурс
Как связано с невалидным сертом? (2)
источник

S

Sebor in DevOps — русскоговорящее сообщество
Rasta Buggins
Логстэш не вывозит такую нагрузку. Увеличили батч, если сделать оутпут в файл, то более или менее справляется, но если оутпут направить в эластик, то вообще непонятно что происходит, данные до эластика не доходят
А размазывать пробовал?
источник

RB

Rasta Buggins in DevOps — русскоговорящее сообщество
Sebor
А размазывать пробовал?
Каким образом?
источник

S

Sebor in DevOps — русскоговорящее сообщество
Rasta Buggins
Каким образом?
Балансером
источник

S

Sebor in DevOps — русскоговорящее сообщество
Ну ещё можно вместо логстэша взять флюентд
источник

RB

Rasta Buggins in DevOps — русскоговорящее сообщество
Sebor
Балансером
Предлагаете несколько логстэшей через балансир направить?
источник

S

Sebor in DevOps — русскоговорящее сообщество
Rasta Buggins
Предлагаете несколько логстэшей через балансир направить?
Ну да. Классическое горизонтальное масштабирование...
источник

RB

Rasta Buggins in DevOps — русскоговорящее сообщество
Думал о таком решении, но это будет крайняя мера.
источник

RB

Rasta Buggins in DevOps — русскоговорящее сообщество
Не хочется ради одного лога кластер строить
источник

RB

Rasta Buggins in DevOps — русскоговорящее сообщество
Дорого
источник

S

Sebor in DevOps — русскоговорящее сообщество
Тогда не надо херачить по 50к в ноносекунду)
источник

S

Sebor in DevOps — русскоговорящее сообщество
У вас там постоянный дебаг включен?
источник

RB

Rasta Buggins in DevOps — русскоговорящее сообщество
Это лог хапрокси. К сожалению меньше не можем, можем больше. Формат лога тоже кастомизирован, берём только нужные поля, а не всю портянку
источник

RB

Rasta Buggins in DevOps — русскоговорящее сообщество
40к это текущее состояние, в планах увеличение до 100к. Так что нужен какой-то очень быстрый механизм
источник

S

Sebor in DevOps — русскоговорящее сообщество
Выглядит так, что вы хотите сэкономить на спичках
источник

D

Danil in DevOps — русскоговорящее сообщество
Rasta Buggins
40к это текущее состояние, в планах увеличение до 100к. Так что нужен какой-то очень быстрый механизм
можно это еще попробовать помимо fluentd
https://vector.dev/
Но имхо если уж хотите 100к в секунду, то бояться кластера странно. Как бы вам в дальнейшем еще кафку туда впихивать не пришлось
источник

AL

Admin Localhost in DevOps — русскоговорящее сообщество
Коллеги, Zoom в Москве/России у всех лежит?
источник

AS

Alexander Sytar in DevOps — русскоговорящее сообщество
Admin Localhost
Коллеги, Zoom в Москве/России у всех лежит?
никаких проблем с ним
источник

AL

Admin Localhost in DevOps — русскоговорящее сообщество
Alexander Sytar
никаких проблем с ним
МГТС, что ли...
источник

D

Danil in DevOps — русскоговорящее сообщество
Danil
можно это еще попробовать помимо fluentd
https://vector.dev/
Но имхо если уж хотите 100к в секунду, то бояться кластера странно. Как бы вам в дальнейшем еще кафку туда впихивать не пришлось
обещают суперперформанс
источник