К
Помогло
Возьми докер с селениумом, вообще проблем не будет с версиями
Size: a a a
2019 November 25
2019 November 26
ОС
А можно как-то в регулярное выражение вписать запрос в селениум?
ОС
myaccount-button-icon, что бы такой класс находило по слову account?
JW
Подскажите, открываю сайт скрепи+селениум, как обойти когда сайт меняет ссылку на страницу заменяя часть адреса на : ?_escaped_fragment_= и там уже нет нужного js контента. Какая то защита, это обходится?
B
Подскажите, открываю сайт скрепи+селениум, как обойти когда сайт меняет ссылку на страницу заменяя часть адреса на : ?_escaped_fragment_= и там уже нет нужного js контента. Какая то защита, это обходится?
это хук аяксовский, для индексирования сайтов
JW
это хук аяксовский, для индексирования сайтов
а это можно обойти? как попасть на нужный сайт?
B
а это можно обойти? как попасть на нужный сайт?
это не нужно обходить, просто вмемто !# подставляется. У гугла и яндекса есть статьи, но этот хук использовался лет 5-7 назад. https://yandex.ru/support/webmaster/robot-workings/ajax-indexing.html
JW
это не нужно обходить, просто вмемто !# подставляется. У гугла и яндекса есть статьи, но этот хук использовался лет 5-7 назад. https://yandex.ru/support/webmaster/robot-workings/ajax-indexing.html
кстати да у сайта /!#/в адресе
B
все что идет после хеша, рендерится на фронте. Поэтому и сделали такое. (гугл не рендерил js)
JW
все что идет после хеша, рендерится на фронте. Поэтому и сделали такое. (гугл не рендерил js)
Окей, а как спарсить то такую страницу, нужно менять #! на что то? если удалить то 404
B
какой сейчас урл?
B
это один и тот же урл должен быть
B
ttps://www.fonbet.ru/?_escaped_fragment_=/live/football - а это представление для поисковых систем, первого урла
КБ
а можно warc перевести в xml, а потом с помощью этого кода в pandas dataframe ?
https://python-scripts.com/question/9829
https://python-scripts.com/question/9829
2019 November 27
JW
это один и тот же урл должен быть
я это и нагуглил, что типа убирите из урл ?_escaped_fragment_=, и будет вам счастье, типа это одна и таже страница, вот только на деле это не так. Как я понимаю так защитились, если кто то сможет обойти это, поделитесь решением пожалуйста.
МС
народ, подскажите сайтик на cloudflare... плз
проверить библиотечку хочу
проверить библиотечку хочу
B
я это и нагуглил, что типа убирите из урл ?_escaped_fragment_=, и будет вам счастье, типа это одна и таже страница, вот только на деле это не так. Как я понимаю так защитились, если кто то сможет обойти это, поделитесь решением пожалуйста.
так в чем проблема то? у тебя две страницы одна с JS-ом, вторая без. Парси какую хочешь. Вторая _escaped_fragment_ видимо уже протухла и на нее забили, судя по торчащему коду на странице. Это не защита, это хак. который устарел.
B
Прошу прощения, но вы можете зайти на эту страницу без триггера Cloudflare?
https://scarletblue.com.au/
https://scarletblue.com.au/
@Mifody вот)