Производительность падает из-за shield в любом случае,из-за того что объекты хешируются для проверки наличия в кэше, поэтому нужно следить, чтобы не отдавать из резолверов большие объекты (например ORM модели). Но в graphql-shield есть возможность переопределить функцию хеширования, так что я советую переопределить её.