МС
у тебя наверняка юзерагент дефолтный
Size: a a a
2020 January 12
AR
ну да, 403
AR
сразу надо было лог читать, а не про xpath спрашивать
M
User-agent закомментирован. Как 403 исправить подскажите пож-ста??
Как понять эту строчку? Ее в сеттингс вписать??
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'
Как понять эту строчку? Ее в сеттингс вписать??
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'
МС
Mikhail
User-agent закомментирован. Как 403 исправить подскажите пож-ста??
Как понять эту строчку? Ее в сеттингс вписать??
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'
Как понять эту строчку? Ее в сеттингс вписать??
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'
ээээ, так может раскомментить?
ты комменты то читай ;)
ты комменты то читай ;)
M
Mikhail
class ExampleSpider(scrapy.Spider):
name = 'price_ozon'
allowed_domains = ['price_ozon']
start_urls = ['https://www.ozon.ru/category/nozhi-i-aksessuary-11463/']
def parse(self, response):
for div in response.xpath('//div[@class="a8p8 a8q6 a8q"]'):
print('123')
link=div.xpath('//div[@class="bn6 bn9"]')
tittle = link.xpath('//span[@class="bx7 by"]/text()').get()
yield {
'tittle': tittle,
}
name = 'price_ozon'
allowed_domains = ['price_ozon']
start_urls = ['https://www.ozon.ru/category/nozhi-i-aksessuary-11463/']
def parse(self, response):
for div in response.xpath('//div[@class="a8p8 a8q6 a8q"]'):
print('123')
link=div.xpath('//div[@class="bn6 bn9"]')
tittle = link.xpath('//span[@class="bx7 by"]/text()').get()
yield {
'tittle': tittle,
}
Всем огромное спасибо за помощь!
С 403 разобрался, но теперь по итогу цикла все tittle пустые, чем это может быть вызвано??
С 403 разобрался, но теперь по итогу цикла все tittle пустые, чем это может быть вызвано??
AR
я выше писал варианты
M
а, ну как минимум не надо начинать xpath c //, если хочешь адресовать относительно элемента
А с какого символа необходимо начать, я просто во всех примерах видел именно с //? Я пробовал с //, / и без символов - результат один.
AR
просто убрать //
AR
ну это если путь правильный
AR
а он неправильный
AR
попробуй .//
AR
во всех примерах с // потому что это не примеры поиска от конкретного элемента
МС
во всех примерах с // потому что это не примеры поиска от конкретного элемента
ну, я бы поспорил с данным утверждением...
это же, по сути "слева похрен что", в смысле элемент и т.п.
это же, по сути "слева похрен что", в смысле элемент и т.п.
AR
// это "от корня документа"
M
import scrapy
class ExampleSpider(scrapy.Spider):
name = 'price_ozon'
allowed_domains = ['price_ozon']
start_urls = ['https://www.ozon.ru/category/nozhi-i-aksessuary-11463/']
def parse(self, response):
for div in response.xpath('.//div[@class="a8p8 a8q6 a8q"]'): #response.xpath('//div[@calss="a8p8.a8q6.a8q"]').getall(): response.css('div.b4z9'):
#print('123')
link=div.xpath('.//div[@class="bn6 bn9"]')
tittle = div.xpath('.//span[@class="bx7 by"]/text()').get()
yield {
'tittle': tittle,
}
тоже самое 😩
class ExampleSpider(scrapy.Spider):
name = 'price_ozon'
allowed_domains = ['price_ozon']
start_urls = ['https://www.ozon.ru/category/nozhi-i-aksessuary-11463/']
def parse(self, response):
for div in response.xpath('.//div[@class="a8p8 a8q6 a8q"]'): #response.xpath('//div[@calss="a8p8.a8q6.a8q"]').getall(): response.css('div.b4z9'):
#print('123')
link=div.xpath('.//div[@class="bn6 bn9"]')
tittle = div.xpath('.//span[@class="bx7 by"]/text()').get()
yield {
'tittle': tittle,
}
тоже самое 😩
M
а что значит путь неправильный??
AR
неважно
AR
в response.xpath не надо было точку вставлять
M
в response.xpath не надо было точку вставлять
Да, я так сначала сделал - тоже пустые