Size: a a a

2020 February 01

O

Oleg in Scrapy
Qwelcer
Привет, можно вопрос - если мне нужно найти элемент с id = 'footer'. И так и так верно получается?
wordpress шорткод с параметрами
источник

AU

Alparslan Uçan in Scrapy
Ruslan Chernenko
U just have to look through requests on the page which can be obtained through dev console in chrome and then try to catch ur request. After that u would eaaily get through the requsst payload and find out necessary data to send to the site
Thanks for your answer I understand
источник

i

ildar in Scrapy
Alparslan Uçan
Hi I have a question about form submit with scrapy.When I submit a form I'm using input names for set variables email password etc. But in some pages input names are same in a form.But they have diffrent id or class values.How can I submit form without using names ? Thanks.
I did not get your question, what you mean by "input names are same in a form", same to what, can you provide example?  Btw in many cases you able don't  care about all fields using https://docs.scrapy.org/en/latest/topics/request-response.html#topics-request-response-ref-request-userlogin
altering only fields you need
источник

i

ildar in Scrapy
you can find good example on using this in tutorials about parsing .Net pages (with VIEWSTATE and etc) https://blog.scrapinghub.com/2016/04/20/scrapy-tips-from-the-pros-april-2016-edition
источник

i

ildar in Scrapy
Qwelcer
Привет, можно вопрос - если мне нужно найти элемент с id = 'footer'. И так и так верно получается?
если использовать css, можно емнип записать что-то вроде для scrapy response:
response.css('#footer')
источник

A

Artem in Scrapy
Всем привет. Подскажите, пожалуйста, можно пауку передать в site_url ссылки из json файла другого паука?
источник

AR

Andrey Rahmatullin in Scrapy
можно конечно, руками (не знаю что такое site_url, впрочем)
источник

AR

Andrey Rahmatullin in Scrapy
Ruslan Chernenko
Енто уже щот другое
тоже xpath, как ни странно
источник
2020 February 02

A

Andriy in Scrapy
Кто-нибудь сталкивался с проблемой в selenium? Как решить?
selenium.common.exceptions.WebDriverException: Message: connection refused
источник

A

Andriy in Scrapy
А можно как-то отправить requests на сайт з задержкой?

Некоторые файлы на сайте прогружаются только через 2-3секунды и тогда их видно в html
источник

AR

Andrey Rahmatullin in Scrapy
лол
источник

AR

Andrey Rahmatullin in Scrapy
это джсом делается, задержка не поможет
источник

l

linuxoid in Scrapy
Andriy
А можно как-то отправить requests на сайт з задержкой?

Некоторые файлы на сайте прогружаются только через 2-3секунды и тогда их видно в html
time.sleep(3)
источник

iz

izzz zzi in Scrapy
Andriy
А можно как-то отправить requests на сайт з задержкой?

Некоторые файлы на сайте прогружаются только через 2-3секунды и тогда их видно в html
DOWNLOAD_DELAY
источник

iz

izzz zzi in Scrapy
linuxoid
time.sleep(3)
😀
источник

B

BOT FACTORY in Scrapy
асинхрон с time.sleep ? 😯
источник

l

linuxoid in Scrapy
Селениум то асинхрон?
источник

iz

izzz zzi in Scrapy
linuxoid
Селениум то асинхрон?
Там есть ожидание айтема
источник

B

BOT FACTORY in Scrapy
все понятно с вами ))
источник

AR

Andrey Rahmatullin in Scrapy
а кто говорил про селениум
источник