Size: a a a

2020 August 01

.

. in Scrapy
проверил через это
http://www.proxy-checker.org/result.php
Status  dead🤦🏿‍♂️🤦🏿‍♂️
источник

К

Кирилл in Scrapy
Пиши в суппорт, пусть меняют
источник

.

. in Scrapy
откуда лучше купить тогда прокси   , я покупал отсюда https://fineproxy.org/eng/
источник

.

. in Scrapy
Кирилл
Пиши в суппорт, пусть меняют
хорошо
источник
2020 August 02

AC

Amber Claes in Scrapy
Подскажите, можно ли в скрэпи, как в селениуме, найти елемент, а потом от него идти по xpath'у?
источник

AC

Amber Claes in Scrapy
response.xpath('//div[@class="wrapper"]')[0].xpath('//ul')
источник

AC

Amber Claes in Scrapy
Как-то так
источник

К

Кирилл in Scrapy
ты используешь scrapy-selenium?
источник

AC

Amber Claes in Scrapy
Кирилл
ты используешь scrapy-selenium?
Нет, просто в селениуме так можно
источник

К

Кирилл in Scrapy
в простом селениуме нет xpath, там find_element_by_xpath
источник

AC

Amber Claes in Scrapy
Ну, да, но суть одна
источник

К

Кирилл in Scrapy
но отвечая на твой вопрос, если селектор начинается с точки . это релятивный селект
источник

AC

Amber Claes in Scrapy
Кирилл
но отвечая на твой вопрос, если селектор начинается с точки . это релятивный селект
Ооо, спасибо, получилось
источник

К

Кирилл in Scrapy
Amber Claes
Ну, да, но суть одна
разная, ты мог использовать скрапи селеним, который пихает ответ селениума в обычный ответ скрапи, и после этого это статический html, в то время когда объекты селениума могут менятся от js'a
источник

К

Кирилл in Scrapy
соответственно какие-нибудь динамические подгрузки не отображались бы в простом response, и ты не смог бы корректно выбрать то, что тебе нужно
источник

AC

Amber Claes in Scrapy
Ещё один вопрос, я сохраняю всю информацию в переменную класса data, мне нужно что бы по окончании парсинга и при отправки interrupt сигнала, эта data записывалась в файл. Где у scrapy конец парсинга находиться?
источник

К

Кирилл in Scrapy
можешь присоединиться к сигналу закрытия паука, обработку данных лучше делать в пайплайне
источник

К

Кирилл in Scrapy
хранить данные в пауке идея так себе, разве что у тебя там пару страницу, иначе будет плохо с памятью
источник