ДУ
Для эффективного усреднения используй gtaphite-ch-optimizer
Size: a a a
2020 May 29
ДУ
В качестве фронта, в который графана ходит можно carbonapi, или запросы на promql сразу в gtaphite-clickhouse пулять
AE
коллеги. добрый день. есть кто с fielbeat работал? надо настроить так, что бы
@timestamp брался исходный, который был прочтен из json лога. сейчас он переписывается временем прочтения из логаAE
логируетсяя напрямую из filebeat в elasticsearch без logstash
DK
Добрый! Можно записывать оригинальный timestamp в поле Timestamp, а filebeat будет пистать свой в поле "@timestamp"
AE
Добрый! Можно записывать оригинальный timestamp в поле Timestamp, а filebeat будет пистать свой в поле "@timestamp"
можно, так уже сделано, но в эластике сортировка по
@timestampAR
коллеги. добрый день. есть кто с fielbeat работал? надо настроить так, что бы
@timestamp брался исходный, который был прочтен из json лога. сейчас он переписывается временем прочтения из логаЛучше не лезть в системные поля. Пиши своё время в своё поле, а в @timestamp перекладывай в elasticsearch ingest или, на худой конец, в logstash filter.
DK
можно, так уже сделано, но в эластике сортировка по
@timestampНо ты можешь пересоздать индекс паттерн с новым основным полем timestamp
AE
Лучше не лезть в системные поля. Пиши своё время в своё поле, а в @timestamp перекладывай в elasticsearch ingest или, на худой конец, в logstash filter.
почему? тогда
@timestamp становится почти бесполезнымAE
Но ты можешь пересоздать индекс паттерн с новым основным полем timestamp
так, сейчас посмотрю
DK
почему? тогда
@timestamp становится почти бесполезнымТы можешь потом мерять отставание логов при помощи разницы @timestamp (когда обработал filebeat) и Timestamp (когда логгер опубликовал сообщение)
AE
Ты можешь потом мерять отставание логов при помощи разницы @timestamp (когда обработал filebeat) и Timestamp (когда логгер опубликовал сообщение)
ну для нас это не важно
AR
почему? тогда
@timestamp становится почти бесполезнымПотому что в контексте файлбита это время обработки записи, и в общем случае туда нельзя записать время возникновения события. Возьми, например, логи какого-нибудь апача. Из них можно выдрать время только постпроцессингом. Поэтому лучше не привыкать к тому, что в
@timestamp лежит готовое время.Д
Нашел наконец как красиво в кубовый прометей добавлять рулсы
AE
Потому что в контексте файлбита это время обработки записи, и в общем случае туда нельзя записать время возникновения события. Возьми, например, логи какого-нибудь апача. Из них можно выдрать время только постпроцессингом. Поэтому лучше не привыкать к тому, что в
@timestamp лежит готовое время.тогда у нас перемешиваются логи микросервисов, от них начинают лететь логи с разным смещением и логи от сервиса А, которые были раньше логов сервиса Б, будут отображаться в таймлайне позже
AE
Но ты можешь пересоздать индекс паттерн с новым основным полем timestamp
где это делается?
DK
где это делается?
DK
где это делается?
Следующий шаг будет выбор основного поля timestamp
AS
коллеги. добрый день. есть кто с fielbeat работал? надо настроить так, что бы
@timestamp брался исходный, который был прочтен из json лога. сейчас он переписывается временем прочтения из логаТут про метрики. Про логи в @ru_logs