Как понимаю, "мусор" можно отфильтровать логстешем, особенно если его много и он забивает индекс в эластике.

как я понимаю, половину этого мусора он и дабавляет... хост откуда пришел эвент, время когда пришло, время когда логстеш обработал..  Я понимаю что надо где то в конфиге поменяь,чтобы эти поля ушли. Но Json конфиг я менять не могу, а в UI все эти поля нельзя спрятать 😞
И так во всем. Дефолтные конфиги ужасны.  Везде надо что то править, подстраивать.
А еще бесит, то что page up / page down не работает. Вернее работает, но это надо кликнуть в определенную область.

Я мечтаю об консольном варианте. Сделал нужный запрос, выбрал нужные поля, экспартнул в файл, или прям наместе grep/awk/sed поверх результата запроса.Чтобы это быстро работало и без мышкодрочества.

Эм, а чем тебе эти поля мешают? Они служебные и могут быть полезными. Что показывать в табличном виде - сам ручками натыкиваешь, если тебе надо только несолько полей видеть

То что ты хочешьв консоли - это наверное в кибане называется Дашборды. Сделал один раз и дальше всё быстро - исползуешь по необходимости. А если каждый раз в консоли писать запрос, что-то там в файл кидать, потом ещё думать как в грепе регексп написать - это как-то не выглядит быстрым. А если сюда ещё добавить что полей в логах много, они разные в зависимости от задачи, и я все их не помню наизусть, то всё ещё сложнее получается.

Так как раз в мышкодрочеве и основной плюс кибаны и всего что под ней... Зачем от этого избавляться то.
Для плохо организованных но json логов кибана вроде идеальна. Какие у неё альтернативы?
Или у тебя какие-то супер идеально читаемые логи?

Да какие-бы идеальные логи ни были, иногда надо строить "сложные" условия аля урезанный SQL, которые греп просто не осилит.

И при этом глазками глянуть на график числа записей по твоему запросу и увидеть там анамалию (например резкий скачёк числа записей). В консоли такое тоже не увидишь.

так кидай запрсы напрямую в эластик тем же курлом и выбирай только те поля- что тебе нужны

👍
Делать так я конечно же не буду!

я не могу это сделать. Я могу только Json в stdout писать. Дальше специально обученные люди с сертификами настраивают всю эту магию..

она у тебя работает? индексы не караптятся? эластик не тормозит? Меня вот бесит когда она десятки секунд что то пытается сделать..

?

Я храню индексы 10 дней, итоговый размер базы эластика никогда не превышал 50-60 гигабайт

Чем больше логов - тем больше надо эластика, кластер из него делать если один сервер не справляется. Чудес не бывает. Быстро делать запросы по индексу в сотни гигабайт так просто не получится

у нас меньше, насколько я знаю.. Но под эластик выделено ресурсов больше чем под мой бэкенд 😞

У нас эластик никогда не терял логов (но у нас между файлбитом и логстешем кафка), но тормозит люто. Чтобы было полегче, мы уже реально думаем, какие поля индексировать, а какие просто держать блобами

Медленный ппц. Но ладно бы медленный, из-за этой тормознутости часто кибана криво строит и перестраивает графики, из-за чего я часто дквелоперскую консоль открываю, чтобы понять, оно уже всосало все данные, или ещё разок все перестроит

Графики в кибане? Покажи и расскажи

А что там рассказывать - там же всё довольно просто и наглядно делается

посоны, у кого-нибудь есть контакт с опытом в дополненной реальности. очки там. юнити. анрил. можете подогнать? проконсультироваться