на обычные сервисы - просто проброс портов. если вот несколько одинаковых сервисов в локалке, тогда уже вот как посоветовали реверс прокси. но это не для всего возможно
ну сказали же что нужен реверс прокси. это уже не уровень маршрутизации. это ты на 1 контейнере поднимаешь реверс прокси и 80 порт смотрит на него и он получает все запросы. А уже сам смотрит что в GET клиент прислал и пересылает уже по внутрянке нужному и ответ пересылвает обратно клиенту