AP
20 млрд, 4,5 тб. Но мы устали с ним.
Вектор тестировали?
Size: a a a
2021 February 25
AS
Нет. Но это же не хранилка, а логстеш на расте, разве нет?
AP
Нет. Но это же не хранилка, а логстеш на расте, разве нет?
Да. Точно
AP
А clickhouse рассматриаете как замену?
AS
Структурное схемалесс логирование у нас, так что нет
AS
json в loki хотим пробовать, как руки дойдут.
M
Привет всем, кто силен в векторе? В центральный vector пишутся логи из двух разных источников, в разных форматах, их нужно класть в 2 разных индекса elasticsearch. Можно ли разные данные для разных синков кидать на один source на одном порту и потом как-то трансформациями разруливать что и в какой sink кидать? Или просто сделать 2 source на двух портах?
AS
20 млрд, 4,5 тб. Но мы устали с ним.
На самом деле не столько хранить проблема, сколько отдавать так, чтоб ничего не падало.
Всякие запросы типа "*Ошибка*"
Всякие запросы типа "*Ошибка*"
2021 February 26
SP
Ну чел отбитый в хорошем смысле. Но метрики из логов - это фиаско, это не стоит делать.
SP
Потому что агрегаты по ним будут показывать погоду на Марсе.
GG
Ну чел отбитый в хорошем смысле. Но метрики из логов - это фиаско, это не стоит делать.
++++
GG
Потому что агрегаты по ним будут показывать погоду на Марсе.
не только поэтому
GG
а еще потому что это треш угар и содомия
SP
Ну это примерно как по рандомным отсчётам восстанавливать форму сигнала, кстати. Теорему Котельникова напрочь забывают, ну или не вспоминают.
TF
Переслано от Nish
my director of Core Infra team is asking me "do we really need cluster level logs of our kubernetes, I think just the application pods logs should be sufficient"......
TF
и ничего не добавить
M
Maxim
Привет всем, кто силен в векторе? В центральный vector пишутся логи из двух разных источников, в разных форматах, их нужно класть в 2 разных индекса elasticsearch. Можно ли разные данные для разных синков кидать на один source на одном порту и потом как-то трансформациями разруливать что и в какой sink кидать? Или просто сделать 2 source на двух портах?
Сам себе отвечу: через transforms.filter можно разделять
MI
Maxim
Сам себе отвечу: через transforms.filter можно разделять
я делаю так
[transforms.check_type]
inputs = [ "http_json", "kafka_json", "vector_native" ]
type = "swimlanes"
[transforms.check_type.lanes.no_type]
type = "check_fields"
"type.exists" = false
[transforms.check_type.lanes.nginx_access]
type = "check_fields"
"type.starts_with" = [ "access-nginx-" ]
M
я делаю так
[transforms.check_type]
inputs = [ "http_json", "kafka_json", "vector_native" ]
type = "swimlanes"
[transforms.check_type.lanes.no_type]
type = "check_fields"
"type.exists" = false
[transforms.check_type.lanes.nginx_access]
type = "check_fields"
"type.starts_with" = [ "access-nginx-" ]
О, спасибо, это как раз то что нужно