AK
ну и текстом, желательно
Size: a a a
2020 November 13
AZ
Практически идеальное решение для хранения логов. При условии что не особо нужен текстовый поиск. Мы храним nginx логи там
а есть где-то подробно описанные примеры успеха? В плане какой вообще стек используется по доставке логов + хранению + визуализации?
AZ
DZ
Nginx + fluentd + kafka + ch
DZ
При желании флюент можно заменить на что то другое.
DZ
Визуализация что придумаете. Нам хватает графаны. Все остальное в консоли. Для не админов - redash
AZ
Nginx + fluentd + kafka + ch
а кафка в этой схеме какую роль выполняет?
DZ
Ключевую :) в кх нельзя писать по штучно. Нужно батчами. И в кх есть из коробки движок таблицы а-ля консюмер из кафки. Он сам забирает
AZ
Ключевую :) в кх нельзя писать по штучно. Нужно батчами. И в кх есть из коробки движок таблицы а-ля консюмер из кафки. Он сам забирает
а, понял. fluentd пихает в кафку, а КХ батчами забирает из кафки
DZ
Можно назвать буфером. Но все максимально близко к реалтайму
DZ
Неоспоримый плюс - сжитие в кх. Хранение логов сразу уходит на второй план
AZ
Неоспоримый плюс - сжитие в кх. Хранение логов сразу уходит на второй план
да, штука хорошая. потому что у нас в день по терабайту логов, а храним мы их не один месяц.
Спасибо за схему :)
Спасибо за схему :)
AZ
не уверен, что мы в качестве транспорта будем пробовать именно кафку, но тут это не особо важно, как я понял - просто с кафкой интеграция есть. а так можно будет и своё подколхозить, чуть что
DZ
Хоть скриптами перекладывать)
DZ
Главное по 1 вставке
AZ
Понял, спасибо!
n🐈
так елк тоже жмет логи по дефолту
сколько не пробовали редаш, все еще думаем что метабейз круче и проще)
сколько не пробовали редаш, все еще думаем что метабейз круче и проще)
YV
Кто-нибудь в курсах, что там с селектелом третий час ?
NN
Глобальная авария, у меня рабочий день так и не начался по факту :(
YV
Хранение ?