У меня нет проблем с рендерингом контента для ботов, скажем так

Меня скорее интересует вообще возможность узнать, бот это или нет

И в зависимости от этого выдавать нужную страницу

А чем он лучше prerender?

Я бы наоборот предпочёл самому генерить контент для ботов, чем пользоваться такой рендерилкой

Это сложная задача, если стандартные боты, типа гугла или Яндекса, то они имеют информацию о useragent соответсвующие, а если ещё левые какие боты, то их сигнатуру уже сложнее вычислять, т.к. многие маскируются под реальных пользователей. Опять же тут множество решений, antibot, антикраулер и пр. Зачастую наблюдают за пользователем, как он ведёт себя на сайте, двигает мышкой или сразу вызывает события дом узлов. Это целый спектр мероприятий, где одним решением не обойтись.

Хм

Но мне по сути нужно только чтобы сайт нормально индексировался гуглами и тд

Зачем мне на других ботов реагировать?

Тогда по user agent и проксировать допустим посредством nginx

Да, по сути в этом состоял вопрос

Могут ли как-то пытаться скрыться боты гугла, яндекса или других поисковиков?

Или они всегда будут ставить юзерагент "честно"

У них есть техническая спецификация, она доступна вроде на dev портале гугла в разделе seo optimization что-то такое, уже не вспомню сейчас

А им то смысл скрываться)

Ну, мало ли вдруг )

Как нить может скорость сайта замеряют

Я не увидел причины, потому и спросил )

https://bellard.org/jslinux/

слушайте, так это действительно эмуляция в браузере? без сервера?

а нах там сервер