Можно (НУЖНО) без proxy-middleware, сделай ENV переменную с эндпоинтом куда надо стучаться, в случае если спрашиваешь с сервера делаешь запрос - на абсолютный урл (внутри докера который, аля http://api:4949/api/), а когда с клиента - на /api (ну или любой другой). Важно nginx’ом этот «любой другой» поймать и направить куда надо. Сторонняя либа в аргументы принимает урл куда надо стучаться?