МС
кто нибудь знает, либа scrapy-puppeteer через прокси работает?
ну, судя по коду, в него только куки передаются
Size: a a a
2020 February 13
М
ну, судя по коду, в него только куки передаются
кстати вопрос про куки... что то не могу их достать при использовании похожей либы scrapy-selenium...
response.headers - вообще пустые
response.request.cookies - тоже...
response.headers - вообще пустые
response.request.cookies - тоже...
МС
return HtmlResponse(
self.driver.current_url,
body=body,
encoding='utf-8',
request=request
)
МС
похоже их и никто не возвращает
МС
пупитер, по идее, хидеры возвращает:
return HtmlResponse(
page.url,
status=response.status,
headers=response.headers,
body=body,
encoding='utf-8',
request=request
)
МС
а скрапи-силениюм надо допиливать, с помощью нипильника и такой то матери...
М
а скрапи-силениюм надо допиливать, с помощью нипильника и такой то матери...
нда... я там вопрос на гите про допиливание на работу через прокси задавал с год назад наверное уже..)) походу бросил либу разработчик. А так то хорошая либа
МС
нда... я там вопрос на гите про допиливание на работу через прокси задавал с год назад наверное уже..)) походу бросил либу разработчик. А так то хорошая либа
Угу. У меня вообще не получилось заставить ее работать. Правда там сайт ипанутый, он мог рубить..
М
Угу. У меня вообще не получилось заставить ее работать. Правда там сайт ипанутый, он мог рубить..
не, у меня везде работает. правда выполняет единственную функцию - запускает JS на страницах))) а когда надо что то сложнее - приходится чистый селениум втыкать. получается жутко медленный костыль в итоге
МС
не, у меня везде работает. правда выполняет единственную функцию - запускает JS на страницах))) а когда надо что то сложнее - приходится чистый селениум втыкать. получается жутко медленный костыль в итоге
А почему для сложного не подходит?
М
А почему для сложного не подходит?
ну прокси не поддерживает, куки достать не могу, кнопки не нажимает, если там какой то жуткий JS к кнопке привязан...
МС
Так, а синениум через скрапи кнопки жмёт? Просто видел вроде примеры, что пупитер умеет кнопки жать. Я про чистый пупитер
МС
да, я как то делал половина сайта проходилась обычными реквестами скрапи, со скоостью света... а на последнем этапе включался селениум, долго предолго запускал гекодрайвер, нажимал кнопки, ждал реакции и собирал остаток инфы.
А, ок, понял
EB
откуда угодно может, обычно апи ключ
AR
опенайди ещё
AR
из запроса к апи