ну есть namespace же в логе

В ELK или graylog:

namespace:test1 and app:service - логи с одного namespace для твоего сервиса
app:service - логи со всех namespace

в этом вопросе норм.  Можно ли сделать в filebeat настройку, чтобы он смотрел в разные директории в зависимости от имени namespace?

Файлы логов выглядят так
/data/log/dev-ns/my_app/my_app-xxxx.log
/data/log/qa-ns/my_app/my_app-yyyy.log
/data/log/prod-ns/my_app/my_app-yyyy.log

что я имею ввиду. При варианте файлов логов, я вижу только явное указание настроек в filebeat для приложения. Т.е. в будет 3 инпута, а хотелось бы один.

Хотя, мб со спрингбутовыми приложениями можно будет что-то ещё придумать

хз, у меня filebeat логи с докера забирает и сразу обогощает их инфой куба. Лейблами неймспейсами и т.д.
Делить логи по папкам не вижу смысла. Без разницы как они на хосте хранятся. Но docker их хранит в папках по hash'у контейнеров

в отдельную папку вынес, чтобы от кривых настроек не падал докер, когда место закончится в /var/lib/docker
выходит, вы читаете из stdout, что существенно облегчает задачу по забору логов

да.
12factor не зря придумали

В файлбит давно завезли автодискавер для куба. В сочетании с hints и возможностью брать лейблы с неймспейса вообще огонь. Сильно лучше, чем шаманить с путямми файлов

а как быть с тем, что когда косячат с приложениями, они начинают жиреть как не в себя?

есть какие-нибудь обходные пути в этом вопросе?

недавно вычищал логи на 40ГБ, т.к. неверно были указаны настройки

ну, логротейт никто не отменял

спасибо. Надо посмотреть, что там в настройках

у докера rotate в 100M по умолчанию

да? Хм. Т.е. если явно не определить параметр ротации, он будет 100мб?

Ошибся. Умолчание не знаю. Думал

"log-opts": {
    "max-size": "100m"
  },

по умолчанию стоит

ну с Java и стектрейсами на 100KB это обычное дело как я понимаю

вот жеж! теперь всё сходится. В кубспрее по дефолту не указаны параметры по ротации, поэтому и пухли контейнеры

осталось добавить, и жизнь наладится)

@identw @artempastukhov
спасибо за ваши ответы!