МС
@Mifody вот)
клево, полный фарш :))
теперь, блин, еще и сервис антикаптчи пополнить надо будет. Или вспомнить где я понарегался 😂
теперь, блин, еще и сервис антикаптчи пополнить надо будет. Или вспомнить где я понарегался 😂
Size: a a a
2019 November 27
JW
так в чем проблема то? у тебя две страницы одна с JS-ом, вторая без. Парси какую хочешь. Вторая _escaped_fragment_ видимо уже протухла и на нее забили, судя по торчащему коду на странице. Это не защита, это хак. который устарел.
проблема в том что я не могу получить страницу с js, редиректит на _escaped_fragment_ страницу. И я не понимаю что изменить в урл, чтобы селениум открыл js страницу?(все пишут удали _escaped_fragment_ и получишь ту самую страницу, в этом случае это же не так)
2019 November 28
B
проблема в том что я не могу получить страницу с js, редиректит на _escaped_fragment_ страницу. И я не понимаю что изменить в урл, чтобы селениум открыл js страницу?(все пишут удали _escaped_fragment_ и получишь ту самую страницу, в этом случае это же не так)
посылай правильные хедеры(эмулируя поведение браузера), какой UA шлешь с селениумом?
B
скорее всего примерно такое правило:
if ($http_user_agent ~* "googlebot|bingbot|yandex|baiduspider|twitterbot|facebookexternalhit|rogerbot|linkedinbot|embedly|quora link preview|showyoubot|outbrain|pinterest|slackbot|vkShare|W3C_Validator") {
set $prerender 1;
}JW
скорее всего примерно такое правило:
if ($http_user_agent ~* "googlebot|bingbot|yandex|baiduspider|twitterbot|facebookexternalhit|rogerbot|linkedinbot|embedly|quora link preview|showyoubot|outbrain|pinterest|slackbot|vkShare|W3C_Validator") {
set $prerender 1;
}ua нормальный, дело в другом было
selenium_response = HtmlResponse(url=response.url, body=self.driver.page_source, encoding='utf-8') если так то в боди почему то идет _escaped_fragment_ страница, url=с решеткой тоже самое, а вот если url=test.com заглушка, то body правильный с Js
selenium_response = HtmlResponse(url=response.url, body=self.driver.page_source, encoding='utf-8') если так то в боди почему то идет _escaped_fragment_ страница, url=с решеткой тоже самое, а вот если url=test.com заглушка, то body правильный с Js
B
ua нормальный, дело в другом было
selenium_response = HtmlResponse(url=response.url, body=self.driver.page_source, encoding='utf-8') если так то в боди почему то идет _escaped_fragment_ страница, url=с решеткой тоже самое, а вот если url=test.com заглушка, то body правильный с Js
selenium_response = HtmlResponse(url=response.url, body=self.driver.page_source, encoding='utf-8') если так то в боди почему то идет _escaped_fragment_ страница, url=с решеткой тоже самое, а вот если url=test.com заглушка, то body правильный с Js
Тоесть основной сайт без решетки?
JW
Тоесть основной сайт без решетки?
self.driver.get('https://www.fonbet.ru/#!/live/football') с решеткой, и просто заглушку в HtmlResponse(url=test.com, тогда все ок. Как там оно под капотом я хз
IM
задавай вопрос сразу)
B
нет такого элемента