Да, сорян, ответил не особо углубляясь. Если не допускать ошибки во время написания кода и миграций, то это не должно мешать. Но, если я не ошибаюсь, корректно написав конфиг для Docker Compose, тоже не должно быть проблем при переключении контейнеров (всё же на какой-то из параметров он смотрит, если я уже всё не забыл).
Если деплоить каждый раз и nginx и fpm в разных контейнерах, могут быть ситуации когда старый nginx начинает ломится в новый fpm, или новый nginx в старый, тут докер тушит старый fpm и клиент падает в 503 или 504