В одном у меня хранится сервер Proxy, а внутри него еще один unordered_map который хранит список клиентов подключенный к конкретно данному Proxy серверу
безотносительно архитектурных заебов. если нет видимой проблемы, то юзай что удобнее в этом случае :) я думаю что поиск по мапе/вектору это не будет хотспотом №1 у тебя :)