Телеграмм чат группы scrapy

Size: a a a

Scrapy

627 membersпожаловаться на группу

2020 September 15

i in Scrapy

я просто с crawlspider не работал, и хз как оно там вообще. поэтому просто размышления вслух)

источник

19:36пожаловаться #1

Spirit💎 in Scrapy

не вызывается, он тупо обходит сайт и все

источник

19:36пожаловаться #2

Spirit💎 in Scrapy

то есть один LinkExtractor работает)

а сколько должно?

у тебя только один же

источник

19:37пожаловаться #5

Spirit💎 in Scrapy

в смысле, он сам по себе

без parse()

rules = [Rule(LinkExtractor(), follow=True)] – это про это, если что. когда без колбэка

источник

19:37пожаловаться #8

i in Scrapy

там просто еще все обрамляется рулесами в примере кода, и почему ты там же не укажешь свой этот экстрактор?

источник

19:38пожаловаться #9

Кирилл in Scrapy

там должен быть калбэк...

источник

19:38пожаловаться #10

Кирилл in Scrapy

конечно он не вызывается

источник

19:38пожаловаться #11

i in Scrapy

как тут они делают: https://docs.scrapy.org/en/latest/topics/spiders.html#crawlspider-example

источник

19:39пожаловаться #12

Кирилл in Scrapy

Я писал из start_requests убрать калбэк

источник

19:39пожаловаться #13

i in Scrapy

у них вызывается это с рулесами

источник

19:39пожаловаться #14

Spirit💎 in Scrapy

Кирилл

Я писал из start_requests убрать калбэк

я описал ситуацию

источник

19:39пожаловаться #15

Spirit💎 in Scrapy

что тогда главная не захватывается в parse()

источник

19:39пожаловаться #16

Кирилл in Scrapy

да и я написал тогда про parse_start_url

источник

19:39пожаловаться #17

Spirit💎 in Scrapy

Кирилл

да и я написал тогда про parse_start_url

не велосипед ли это? правило ведь сработает только для стартового урла

источник

19:40пожаловаться #18

Spirit💎 in Scrapy

а не для всех урлов, которые в экстракторе будут находиться

источник

19:40пожаловаться #19

Spirit💎 in Scrapy

правило отключения прокси имею в виду

источник

19:40пожаловаться #20