Телеграмм чат группы scrapy

Size: a a a

Scrapy

2020 September 15

я че говорю, я смотрю 2 выгрузки, сделанные по одному и тому же сайту. вот когда колбэк убран в start_requests, то в выгрузке нет главной (/)

видимо ты не прописал parse_start_url

источник

19:22пожаловаться #1

i in Scrapy

https://docs.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.CrawlSpider.parse_start_url

источник

19:23пожаловаться #2

Spirit💎 in Scrapy

давайте сначала)
https://gist.github.com/clockdev/44188d4b1b7c8813977887dd4dab90a1 – вот стоковый код моего спайдера, до того, как я захотел его отучить от использования прокси

источник

19:23пожаловаться #3

Spirit💎 in Scrapy

в него передается домен и по домену работает правило с линк экстрактором

источник

19:24пожаловаться #4

Spirit💎 in Scrapy

обходятся все внутренние страницы сайта

источник

19:24пожаловаться #5

Кирилл in Scrapy

зачем у тебя экстракор в калбэке

зачем у тебя экстракор в калбэке

внешние ссылки вытягивает

со страницы

ох

есть более элегантные решения?)

источник

19:25пожаловаться #10

Кирилл in Scrapy

Вроде нет

источник

19:26пожаловаться #11

i in Scrapy

а я не очень понимаю к чему там init и вызов еще конструктора? супера и все эти переопределения, но это не от того, что код какой-то не такой, я просто не знаю)

источник

19:30пожаловаться #12

i in Scrapy

и все эти self.cookies_seen = set()

источник

19:30пожаловаться #13

i in Scrapy

и url = 'http://%s/' % url - с надеждой что url будет без завершающего слеша. это какой-то со стековера код что-ли?

источник

19:31пожаловаться #14

i in Scrapy

нашел подобные включения в вопросе 13го года: https://stackoverflow.com/questions/18793904/scrapy-run-from-script-not-working

Stack Overflow

Scrapy run from script not working

I am trying to run a scrapy spider that runs perfectly using scrapy crall single but I am not able to run it inside a python script.

I am aware that the docs tell how to: https://scrapy.readthedoc...

источник

19:32пожаловаться #15

Spirit💎 in Scrapy

и url = 'http://%s/' % url - с надеждой что url будет без завершающего слеша. это какой-то со стековера код что-ли?

дыа

источник

19:34пожаловаться #16

Spirit💎 in Scrapy

и все эти self.cookies_seen = set()

это шаблон из доки, вроде бы

источник

19:34пожаловаться #17

i in Scrapy

и вот смотри у тебя тут нет коллбека, а когда нет коллбека что делается, типа parse по-умолчанию вызывается?
extractor = LinkExtractor(deny_domains=self.allowed_domains)

источник

19:35пожаловаться #18

Spirit💎 in Scrapy

не вызывается

источник

19:35пожаловаться #19

Spirit💎 in Scrapy

сейчас проверю на всякий

источник

19:35пожаловаться #20