AR
port 22 is SSH so it's not related to scraping
Size: a a a
2020 September 05
A
Всем привет! Ребят кто может подсказать почему splash request рендерит не тот контент который я вижу в обычном браузере? Я думал может там редирект на сайте по которому сплеш не уходит, но не знаю как это про верить. На пальцах проблема в том что запрос по этому адресу https://asianfoodnetwork.com/en/search.html?search=Claypot%20Chicken%20Rice через сплеш мне выдет один и тот же контент(я ищу ссылки на картинки рецептов) если в pagesourse обычного браузера они все как на ладони, а через сплеш набор картинок другой и всегда один и тот же не в зависимости какое ключевое слово для поиска я включаю. В каком направлении двигаться?
К
Всем привет! Ребят кто может подсказать почему splash request рендерит не тот контент который я вижу в обычном браузере? Я думал может там редирект на сайте по которому сплеш не уходит, но не знаю как это про верить. На пальцах проблема в том что запрос по этому адресу https://asianfoodnetwork.com/en/search.html?search=Claypot%20Chicken%20Rice через сплеш мне выдет один и тот же контент(я ищу ссылки на картинки рецептов) если в pagesourse обычного браузера они все как на ладони, а через сплеш набор картинок другой и всегда один и тот же не в зависимости какое ключевое слово для поиска я включаю. В каком направлении двигаться?
Ты пробовал использовать api? https://search-api.swiftype.com/api/v1/public/engines/search.json
FG
Всем привет, необходима помощь знатоков. Подскажите пожалуйста, может кто разбирается в сертификатах и как они проверяются или нет скрапи... В чём суть: отправляю запрос через requests - всё норм, пытаюсь пауком - получаю 403 ошибку от сайта (market.yandex.ru). На рабочем проекте мы нашли способ выключить TLS 1.3, и всё поехало, но может есть другое решение... Ещё в чём разница, есть такой сайт
https://clienttest.ssllabs.com:8443/ssltest/viewMyClient.html
У requests
У scrapy
https://clienttest.ssllabs.com:8443/ssltest/viewMyClient.html
У requests
Session tickets YesУ scrapy
Session tickets Noв сетинге твистеда можно врубить тикет
OS
Faginator Gerasimov
в сетинге твистеда можно врубить тикет
чё?
FG
ты про тикет спрашивал?
МС
А чё это strip без скобочков? Когда он стал свойством?🤔