iz
Size: a a a
2020 September 13
A
вопрос по перелистыванию страниц
если находит ссылку, передает ссылку функции
если нет я поставил
если находит ссылку, передает ссылку функции
если нет я поставил
pass
не получиться ли вечный цикл? def parse_page(self, response):
page_links = response.css('#body-container > div:nth-child(3) > div > div.rel.listHandler h3 a ::attr(href)').getall()
yield from response.follow_all(page_links, callback = self.parse_ads)
link_next_page = response.css('#body-container > div:nth-child(3) > div > div.pager.rel.clr > span.fbold.next.abs.large ::attr(href)').get()
if link_next_page:
yield from response.follow(link_next_page, callback = self.parse_page)
else:
passi
есть функция
в переменной
я ожидаю, что цикл будет передавать по одному значению в функцию
поставил принт перед
почему так?
def parse(self, response):
links = response.css('#body-container > div > div > div.clr.site-map a ::attr(href)').getall()
for page in links:
yield scrapy.Request(page, callback = self.parse_page) в переменной
links 100 ссылокя ожидаю, что цикл будет передавать по одному значению в функцию
parse_page ссылку и функция уже будет обрабатывать эту ссылку поставил принт перед
yield - и вижу что вываливается содержимое всей переменной links почему так?
тока с follow_all надо еще не забывать yield from
i
Это я понимаю ) Но как?)
лучше не мету а новые эти cb_kwargs, с ними даже легче, сразу их как переменные можно указывать в вызываемой функции, см. туториале