Учтите, что сервер под нагрузкой будет рендерить медленнее, чем без SSR, поэтому вопрос спорный будет ли в итоге быстрее. Обычно в связке с SSR используется кеширование, как Вам выше написали. С использованием кеша пользователь быстрее получит картинку на экране (но это не значит, что сможет так же быстро получить отзывчивую страницу).
Ну и уточню на всякий случай. Под кешем я имею в виду какой-нибудь Cloudfront, например.