E
Size: a a a
2020 January 17
E
можно вот так попробовать
https://stackoverflow.com/questions/29474659/using-threads-within-a-scrapy-spider
https://stackoverflow.com/questions/29474659/using-threads-within-a-scrapy-spider
AR
угу, deferToThread
r
Всем привет! Народ, подскажите, пишу стандартного паука, который бегает по страницам и должен парсить статьи на каждой из страниц. Как сделать так, чтобы он заходил в каждую из статей и там уже парсил инфу?
АП
Всем привет! Народ, подскажите, пишу стандартного паука, который бегает по страницам и должен парсить статьи на каждой из страниц. Как сделать так, чтобы он заходил в каждую из статей и там уже парсил инфу?
Делай несколько методов у паука, основной бегает по страницам и коллбечит на второй метод. А второй уже берёт статью.
MS
Привет, ребята! У меня сегодня первый день с Python и мне нужна помощь 🙏 После того, как я ввёл команду
sudo pip install scrapy прилетела ошибкаMS
АП
Не пиши судо пип, и питон возьми из хомбрю.
MS
Спасибо, Печенька
r
Делай несколько методов у паука, основной бегает по страницам и коллбечит на второй метод. А второй уже берёт статью.
Ага. В принципе у меня и так их два, как ты и сказал. Основной бегает по страницам, а второй с отсылкой на файл items.py должен парсить каждый пост на странице. Но ума не приложу как второму методу передать эту ссылку, в которой он будет парсить инфу
r
Каким хреном он ее получает
МС
Ага. В принципе у меня и так их два, как ты и сказал. Основной бегает по страницам, а второй с отсылкой на файл items.py должен парсить каждый пост на странице. Но ума не приложу как второму методу передать эту ссылку, в которой он будет парсить инфу
yield scrapy.Request(url, callback)
МС
дальше гугл, по моему, это даже в примерах на самом скрапи или в первых попавшихся уроках есть
B
Всем привет! Народ, подскажите, пишу стандартного паука, который бегает по страницам и должен парсить статьи на каждой из страниц. Как сделать так, чтобы он заходил в каждую из статей и там уже парсил инфу?
есть дефолтный crawlspider
MS
После того, как я ввёл команду
pip install scrapy прилетела та же ошибка. Кто нибудь 🙏r
