S
Size: a a a
2020 September 13
2020 September 14
ss
Подскажите, как нужно сделать. У меня когда парсятся даные с сайта один раз поле парситься одлин раз приходит None, как мне сделать чтобы оно делало повторный запрос, или так нельзя?
S
Подскажите, как нужно сделать. У меня когда парсятся даные с сайта один раз поле парситься одлин раз приходит None, как мне сделать чтобы оно делало повторный запрос, или так нельзя?
ss
Спасибо! Сейчас буду смотреть
ss
Сделал все как в статье неработает, код незаходит в переопеределенный мидлвеар
class CustomRetryMiddleware(RetryMiddleware):
def process_response(self, request, response, spider):
print('------------------')
if request.meta.get('dont_retry', False):
return response
if response.status in self.retry_http_codes:
reason = response_status_message(response.status)
return self._retry(request, reason, spider) or response
if response.status == 200 and response.xpath(spider.retry_xpath):
return self._retry(request, 'response got xpath "{}"'.format(spider.retry_xpath), spider) or response
return response
class CustomRetryMiddleware(RetryMiddleware):
def process_response(self, request, response, spider):
print('------------------')
if request.meta.get('dont_retry', False):
return response
if response.status in self.retry_http_codes:
reason = response_status_message(response.status)
return self._retry(request, reason, spider) or response
if response.status == 200 and response.xpath(spider.retry_xpath):
return self._retry(request, 'response got xpath "{}"'.format(spider.retry_xpath), spider) or response
return response
ss
ето в моем пауке
def parse(self, response):
item = News()
for ul in response.xpath('//ul[@class="My(0) Ov(h) P(0) Wow(bw)"]'):
item['link'] = self.HOST + ul.xpath('//div/div/div[@class="Ov(h) Pend(44px) Pstart(25px)"]/h3/a/@href').get()
NewsSpider.retry_xpath = item['link']
item['title'] = ul.xpath('//div/div/div[@class="Ov(h) Pend(44px) Pstart(25px)"]/h3/a/text()').get()
NewsSpider.retry_xpath = item['title']
return item
def parse(self, response):
item = News()
for ul in response.xpath('//ul[@class="My(0) Ov(h) P(0) Wow(bw)"]'):
item['link'] = self.HOST + ul.xpath('//div/div/div[@class="Ov(h) Pend(44px) Pstart(25px)"]/h3/a/@href').get()
NewsSpider.retry_xpath = item['link']
item['title'] = ul.xpath('//div/div/div[@class="Ov(h) Pend(44px) Pstart(25px)"]/h3/a/text()').get()
NewsSpider.retry_xpath = item['title']
return item
К
ето в моем пауке
def parse(self, response):
item = News()
for ul in response.xpath('//ul[@class="My(0) Ov(h) P(0) Wow(bw)"]'):
item['link'] = self.HOST + ul.xpath('//div/div/div[@class="Ov(h) Pend(44px) Pstart(25px)"]/h3/a/@href').get()
NewsSpider.retry_xpath = item['link']
item['title'] = ul.xpath('//div/div/div[@class="Ov(h) Pend(44px) Pstart(25px)"]/h3/a/text()').get()
NewsSpider.retry_xpath = item['title']
return item
def parse(self, response):
item = News()
for ul in response.xpath('//ul[@class="My(0) Ov(h) P(0) Wow(bw)"]'):
item['link'] = self.HOST + ul.xpath('//div/div/div[@class="Ov(h) Pend(44px) Pstart(25px)"]/h3/a/@href').get()
NewsSpider.retry_xpath = item['link']
item['title'] = ul.xpath('//div/div/div[@class="Ov(h) Pend(44px) Pstart(25px)"]/h3/a/text()').get()
NewsSpider.retry_xpath = item['title']
return item
Для вставки кода используй pastebin.com
ss
Для вставки кода используй pastebin.com
Окей
B
или можешь обратными кавычками по три штуки обрамлять код:
class CustomRetryMiddleware(RetryMiddleware):
def process_response(self, request, response, spider):
print('------------------')
if request.meta.get('dont_retry', False):
return response
if response.status in self.retry_http_codes:
reason = response_status_message(response.status)
return self._retry(request, reason, spider) or response
if response.status == 200 and response.xpath(spider.retry_xpath):
return self._retry(request, 'response got xpath "{}"'.format(spider.retry_xpath), spider) or response
return response
ss
Для вставки кода используй pastebin.com
Типо вставлять туда код и кидать ссылку?
ss
или можешь обратными кавычками по три штуки обрамлять код:
class CustomRetryMiddleware(RetryMiddleware):
def process_response(self, request, response, spider):
print('------------------')
if request.meta.get('dont_retry', False):
return response
if response.status in self.retry_http_codes:
reason = response_status_message(response.status)
return self._retry(request, reason, spider) or response
if response.status == 200 and response.xpath(spider.retry_xpath):
return self._retry(request, 'response got xpath "{}"'.format(spider.retry_xpath), spider) or response
return response
Спасибо
К
Типо вставлять туда код и кидать ссылку?
Да, ты просишь помощи и заставляешь людей вчитываться в эту кашу текста
S
Сделал все как в статье неработает, код незаходит в переопеределенный мидлвеар
class CustomRetryMiddleware(RetryMiddleware):
def process_response(self, request, response, spider):
print('------------------')
if request.meta.get('dont_retry', False):
return response
if response.status in self.retry_http_codes:
reason = response_status_message(response.status)
return self._retry(request, reason, spider) or response
if response.status == 200 and response.xpath(spider.retry_xpath):
return self._retry(request, 'response got xpath "{}"'.format(spider.retry_xpath), spider) or response
return response
class CustomRetryMiddleware(RetryMiddleware):
def process_response(self, request, response, spider):
print('------------------')
if request.meta.get('dont_retry', False):
return response
if response.status in self.retry_http_codes:
reason = response_status_message(response.status)
return self._retry(request, reason, spider) or response
if response.status == 200 and response.xpath(spider.retry_xpath):
return self._retry(request, 'response got xpath "{}"'.format(spider.retry_xpath), spider) or response
return response
в настройках надо включить
ss
в настройках надо включить
SPIDER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
'scrapping.custom_middleware.CustomRetryMiddleware': 550,
#'scrapping.middlewares.ScrappingSpiderMiddleware': 543,
}
RETRY_TIMES = 5S
ето в моем пауке
def parse(self, response):
item = News()
for ul in response.xpath('//ul[@class="My(0) Ov(h) P(0) Wow(bw)"]'):
item['link'] = self.HOST + ul.xpath('//div/div/div[@class="Ov(h) Pend(44px) Pstart(25px)"]/h3/a/@href').get()
NewsSpider.retry_xpath = item['link']
item['title'] = ul.xpath('//div/div/div[@class="Ov(h) Pend(44px) Pstart(25px)"]/h3/a/text()').get()
NewsSpider.retry_xpath = item['title']
return item
def parse(self, response):
item = News()
for ul in response.xpath('//ul[@class="My(0) Ov(h) P(0) Wow(bw)"]'):
item['link'] = self.HOST + ul.xpath('//div/div/div[@class="Ov(h) Pend(44px) Pstart(25px)"]/h3/a/@href').get()
NewsSpider.retry_xpath = item['link']
item['title'] = ul.xpath('//div/div/div[@class="Ov(h) Pend(44px) Pstart(25px)"]/h3/a/text()').get()
NewsSpider.retry_xpath = item['title']
return item
а тут вообще бред какой-то
ss
а тут вообще бред какой-то
я типо записал в айтемы