Я пробовал два варианта:
1) вашу схему os.environ.get('dbcontainer_name', 'default_ip').
2) 'dbcontainer_name' if 'IS_DOCKER' in os.environ else 'default_ip'
Оба варианта выходят боком в контейнере celery, но если второй просто не работает, то первый принимает имя контейнера исправно, однако целери все равно падает:
https://pastebin.com/asVdf17b