МС
сцук, до слез..... 😂
Size: a a a
2020 January 12
M
тебе со страницы категории? или со страницы товара?
со страницы категории (https://www.ozon.ru/category/nozhi-i-aksessuary-11463/), я же правильно понимаю что нужно просто циклом пройтись по div calss="a8p8 a8q6 a8q" чтобы это собрать??
AR
AR
но вообще ход мыслей правильный
M
и "a8p8.a8q6.a8q" это цсс нотация, в xpath надо писать как написано в атрибуте
Спасибо! Но когда указал как в атрибуте - тоже никакого вывода 😔
AR
я две ошибки указал
M
я две ошибки указал
Какой кошмар...сори...
Но исправил - ничего не изменилось. Где еще возможна проблема??
Но исправил - ничего не изменилось. Где еще возможна проблема??
AR
показывай код снова
M
class ExampleSpider(scrapy.Spider):
name = 'price_ozon'
allowed_domains = ['price_ozon']
start_urls = ['https://www.ozon.ru/category/nozhi-i-aksessuary-11463/']
def parse(self, response):
for div in response.xpath('//div[@class="a8p8 a8q6 a8q"]'):
print('123')
link=div.xpath('//div[@class="bn6 bn9"]')
tittle = link.xpath('//span[@class="bx7 by"]/text()').get()
yield {
'tittle': tittle,
}
name = 'price_ozon'
allowed_domains = ['price_ozon']
start_urls = ['https://www.ozon.ru/category/nozhi-i-aksessuary-11463/']
def parse(self, response):
for div in response.xpath('//div[@class="a8p8 a8q6 a8q"]'):
print('123')
link=div.xpath('//div[@class="bn6 bn9"]')
tittle = link.xpath('//span[@class="bx7 by"]/text()').get()
yield {
'tittle': tittle,
}
AR
и что, цикл не выполняется или тайтл не извлекается?
AR
а, ну как минимум не надо начинать xpath c //, если хочешь адресовать относительно элемента
M
запускаю в кс командой "scrapy runspider price_ozon.py -L WARNING --output=price.json" - файл пустой. попытался в начало цикла вставить print('123'), чтобы посмотреть работает ли он - на печать ничего не вывелось
AR
потому что даже div.xpath с // будет искать по всей странице
AR
а, лол
AR
ты лог-то читал?
AR
рано файл смотреть
AR
и зачем -L WARNING
M
лог - это текст, что в кс выпадает? -l warning - чтобы выпадали только ошибки в кс
МС
Mikhail
лог - это текст, что в кс выпадает? -l warning - чтобы выпадали только ошибки в кс
403 код не настораживает?
МС
в sttings.py
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'