AS
на агрегаторах события утрамбовываются в буфер и потом жирными чанками сливаются в КХ раз в несколько минут
Size: a a a
2020 January 31
KP
дешевле ELK, если данных МНОГО
я наоборот думал, что кликхаус - это как раз когда много данных
AS
вот-вот, ёлка на индексы железа заберет дофига
KP
на агрегаторах события утрамбовываются в буфер и потом жирными чанками сливаются в КХ раз в несколько минут
агрегаторы - это fluentd? он сам утрамбовывает и запихивает? или обвязку дописывали?
AS
у меня в КХ access логи nginx за последние 6 месяцев лежат, это 23 млрд записей, весит 900 ГБ, крутится на двух тачках с 2 vCPU и 8 ГБ
AS
сколько нужно будет железа положить это в эластик?
AS
агрегаторы - это fluentd? он сам утрамбовывает и запихивает? или обвязку дописывали?
да, тоже fluentd, всё встроенными средствами, кроме экспорта в КХ - тут вызывается clickhouse-client и ему скармливается набранный буфер. собственно в loghouse такая же схема
KP
спасибо большое за объяснения)
KP
а ui какой? тоже tabix?
AS
сам да, через tabix запросы делаю, аналитик через jupyter и redash подключается
KP
сам да, через tabix запросы делаю, аналитик через jupyter и redash подключается
спасибо еще раз)
AS
нзчт )
2020 February 01
як
Всем привет. Кто что использует для логгирования? есть у кого что-нибудь отличное от ELK?
fluentd ещё популярен, но он на ruby. Если вопрос "что бы ещё такое интересное посмотреть - посмотри LOKI
як
Тут должна быть шутка про rsyslog!
NG ?
як
не было опыта доставки при помощи fluentd?
:-)
як
агрегаторы - это fluentd? он сам утрамбовывает и запихивает? или обвязку дописывали?
Или filebeat. В лёгких случаях можно ограничиться greylog. Если инфраструктура банковской/финансовой/военной отрасли - целесообразно использовать два разных движка доставки логов одновременно
ЕО
дешевле ELK, если данных МНОГО
Ну нет, как раз наоборот. ELK это если у тебя либо очень много денег, либо мало данных. Он очень прожорливый по месту и CPU (по сравнению с КХ)
SC
или если данные очень вяло структурированные
ЕО
или если данные очень вяло структурированные
Ну да, есть такое. Много неструктурированных логов из одного источника в КХ будут не очень хорошо жить. Но кто в 2020 так делает? Практически всегда можно хоть что-то если ее передать, то выпарсить