DP
Как правильные поцаны парсят логи?
некоторые ch используют - https://eng.uber.com/logging/
Size: a a a
2021 March 24
AD
тут размер имеет значение. как такую кучу текста перебрать. я никогда не игрался с люценами. Мне например userId надо найти, почему не смог сделать что-то. В логах этот айди встречается трилярды раз. Вот наверно можно чем то взять все ненужное описать как схемки, и поскипать. Останется только то что имеет смысл читать
очень муторно, но я делал через grep с инверсией поиска с regexp, где regexp пополнял постепенно через "или". задолбался. но врядли на терабайтах будет быстро
PP
некоторые ch используют - https://eng.uber.com/logging/
Это решение в стиле "надо было сразу нормально делать")
AL
Если логи не на одной машине, а размазаны по сервакам, то на каждом наверняка только деятки-сотни гигов логов. Греп запустить параллельно, пока другими делами занят, минут через 20-40 найдешь.
AL
Если на одной, то подольше, но все равно проще грепнуть чем разбираться с какими-то другими инструментами.
AL
можно сделать что-то типа
и потом смотреть только небольшой фрагмент уже глазами.
egrep whateverregex -B 1000 -A 1000 > log-fragment.txtи потом смотреть только небольшой фрагмент уже глазами.
PP
штука в том что я не знаю заранее что грепать. если просто айдишник грепать, на него вываливается много невиновных строк в разном контексте. То есть я довольно точно могу знать какие из них не являются проблемой, а проблема найдется исключением.
Это тот случай когда нужно вуручивать обратно болты в сыпящуюся легаси интерпрайзное, которое я не писал сам, но надо саппортить.
Это тот случай когда нужно вуручивать обратно болты в сыпящуюся легаси интерпрайзное, которое я не писал сам, но надо саппортить.
NK
Переслано от Denis Pavlyuchenko
AA
Как правильные поцаны парсят логи?
datadog
AL
штука в том что я не знаю заранее что грепать. если просто айдишник грепать, на него вываливается много невиновных строк в разном контексте. То есть я довольно точно могу знать какие из них не являются проблемой, а проблема найдется исключением.
Это тот случай когда нужно вуручивать обратно болты в сыпящуюся легаси интерпрайзное, которое я не писал сам, но надо саппортить.
Это тот случай когда нужно вуручивать обратно болты в сыпящуюся легаси интерпрайзное, которое я не писал сам, но надо саппортить.
я бы грепнул все, что с этим айдишником связано, в отделный файлик. Будет он допустим на сотню метров или пару гигов. В любом случае достаточно мелкий, чтобы на нем уже можно было бы эксперименты ставить.
DP
NK
Переслано от Denis Pavlyuchenko
AE
Как правильные поцаны парсят логи?
ELK/EFK/Loki
AE
Andrey Listochkin
Если логи не на одной машине, а размазаны по сервакам, то на каждом наверняка только деятки-сотни гигов логов. Греп запустить параллельно, пока другими делами занят, минут через 20-40 найдешь.
Это путь в некуда. Дороги должны быть управляемыми и централизованными
AA
ID:0
Переслано от Denis Pavlyuchenko
как оно? кто смотрел?
DP
как оно? кто смотрел?
отлично получилось. В этот раз даже проблем особых со звуком не было, как это обычно бывает)
AA
Другую платформу обкатываем. Сильно лучше. Задержки между нами почти нет, теперь хоть не перебивает друг друга
A
мне показалось что синхронизация звука и картинки иногда тупила
AA
есть нюансы. да
SE
Другую платформу обкатываем. Сильно лучше. Задержки между нами почти нет, теперь хоть не перебивает друг друга
ооо, это отлично! Помню когда я участвовал было достаточно тяжело общаться, а хотелось именно диалог вести 🙂