Телеграмм чат группы scrapy

Size: a a a

Scrapy

2020 September 13

  for page in links:
    yield scrapy.Request(page, callback = self.parse_page)

равно
response.follow_all(links, callback...

Ты же не знаешь какая у него версия скрапи 🧐

источник

16:21пожаловаться #1

Alex in Scrapy

SoHard 🎄

  for page in links:
    yield scrapy.Request(page, callback = self.parse_page)

равно
response.follow_all(links, callback...

Попробую, спасибо

источник

16:22пожаловаться #2

Stepan Smirnov in Scrapy

а что быстрее работает - duplifier filter на каждый запрос или проверка ссылки по set() до отправления запроса?

источник

16:25пожаловаться #3

Кирилл in Scrapy

Ну, наверное проверка в set будет быстрее. Но разницы особой нет

источник

16:35пожаловаться #4

Кирилл in Scrapy

Питон, это не про микрооптимизации

источник

16:40пожаловаться #5

Andrii in Scrapy

SoHard 🎄

  for page in links:
    yield scrapy.Request(page, callback = self.parse_page)

равно
response.follow_all(links, callback...

А что импортировать?)

Andrii in Scrapy

ничего

Andrey Rahmatullin in Scrapy

Stepan Smirnov

а что быстрее работает - duplifier filter на каждый запрос или проверка ссылки по set() до отправления запроса?

Там сет и там сет

источник

16:59пожаловаться #9

Andrey Rahmatullin in Scrapy

Но дупфильтр умнее, там не только урл

источник

16:59пожаловаться #10

Alex in Scrapy

SoHard 🎄

  for page in links:
    yield scrapy.Request(page, callback = self.parse_page)

равно
response.follow_all(links, callback...

yield request.follow_all(links, callback = self.parse_page)
NameError: name 'request' is not defined

источник

17:19пожаловаться #11

Alex in Scrapy

что то не работает

источник

17:19пожаловаться #12

Кирилл in Scrapy

Alex

yield request.follow_all(links, callback = self.parse_page)
NameError: name 'request' is not defined

response.follow_all

источник

17:28пожаловаться #13

Alex in Scrapy

ERROR: Spider must return request, item, or None, got 'generator' - пробовал response.follow_all

источник

17:29пожаловаться #14

Alex in Scrapy

def parse(self, response):
        links = response.css('#body-container > div > div > div.clr.site-map a ::attr(href)').getall()
        yield response.follow_all(links, callback = self.parse_page)

источник

17:30пожаловаться #15

Alex in Scrapy

scrapy -V
Scrapy 2.3.0

источник

17:32пожаловаться #16

Кирилл in Scrapy

yield from response.follow_all

источник

17:34пожаловаться #17

Alex in Scrapy

Кирилл

yield from response.follow_all

так вроде работает, спасибо

источник

17:38пожаловаться #18

SoHard 🎄 in Scrapy

Andrii

сорян

источник

17:54пожаловаться #19

SoHard 🎄 in Scrapy

response

источник

17:54пожаловаться #20