Ничего интересного. Суть в том, что  я делаю docker-compose down, контейнеры http и registrator останавливаются и удаляются, а сервисы в консуле удалить некому. При следующем запуске registrator ничего не знает о предыущих сервисах и плодит новые.

Всем привет! Подскажите, что  делать?

Ситуация такая:
Освобождал место  в /var/lib/docker перед этим выключив сервис через systemctl.
После запуска сервиса ликера, увидев, что результатов нет, попытался удалить /var/lib/docker/aufs увидев, что он занимает плотное количество места(и не зная, что так делать не нужно при запущенном сервисе). После - удалилась папка aufs/layers.

Проблема:
Теперь при повторном билде имэджа из докерфайла выводит ошибку:
open /var/lib/docker/aufs/layers/<id>: no such file or directory.

Судя по-всему он ищет старый лэйер и не может найти, так как я удалил его.

Можно ли исправить эту ошибку не переустанавливая сам докер? Что лучше сделать?

Спасибо

В общем есть подобные issues, напимер https://github.com/gliderlabs/registrator/issues/505. Решаентся указанием hostname в docker-compose.

Так регистратор не нужно останавливать.

Ну допустим сервер ребутнётся или docker-compose down сделаем

На случай падения подсказать не могу. А вот по поводу docker-compose down я б не держал сервис и регистратор в одном композе

Registrator в отдельно контейнере запускать?

Ну на столько я понял, он у вас и так в отдельном контейнере. Если нет, то конечно в отдельном.

Имеется ввиду у меня сейчас registrator запускался в рамках compose, стоит ли его запускать отдельно по одному на хост. Планируется на одном хосте запускать несколько приложений в compose

Я не в курсе хорошоая ли это практика (пусть более опытные коллеги поправят, если не прав), но у меня сделано именно так: на каждом хосте свой регистратор и консул. И они не зависят от состояния приложений. То есть живут даже если приложения останавливаются или мигрируют.  Проблем, подобных вашей, пока не испытывал.

Они в контейнерах или просто на хосте?  Сколько всего примерно контейнеров на хосте?

Регистраторы и крнсулы в контейнерах. Всего контейнеров у меня не много, 5-10 на хост.

Ок, спасибо!

Юр велкам :)

@borgkun
Погодите, ведь есть health checks. Check Definition - Consul by HashiCorp
https://www.consul.io/docs/agent/checks.html

@borgkun похоже на решение вашей проблемы.

Да, он чекает, и в итоге остаются дохлые сервисы

Ну дохлые — не проблема же, врядли консул отдает информацию о них, как о живых.

Может кто подскажет не по теме.
Чекаю место на диске пинговалкой
*вырезска с схшника*

 per=$(ssh -oStrictHostKeyChecking=no ubuntu@${hosts[$h]} df -H | grep  '^/dev/xvda1' | awk '{ print $5//\%/ }')



Есть какая та альтернатива df -H

ибо бывали случаи что дф говорил свободно 60%, а по факту место занято под 100%

Именно место было занято? Или inode'ы? Их отдельно надо тоже проверять.