AR
что такое проверяю вручную?
Size: a a a
2020 October 11
КО
scrapy shell
A
Подскажите возникает ошибка, когда из attrib пытаюсь получить по ключу значение, вылетает
KeyError, когда проверяю вручную этот ключ есть и я могу вытащить данные. Что это может быть?Код
КО
Он большую часть отрабатывает, но иногда ловит error:
`2020-10-11 22:13:43 [scrapy.core.scraper] ERROR: Spider error processing <GET https://xn--80awqecag4e.xn--p1ai/shop/list/latunnyj/list-latunnyj-05x600x1500-l63-m-kopiya-ot-09012017-103948/> (referer: https://xn--80awqecag4e.xn--p1ai/shop/list/latunnyj/)
...
price = response.css("div.price meta[itemprop='price']").attrib['content']
KeyError: 'content'`
`2020-10-11 22:13:43 [scrapy.core.scraper] ERROR: Spider error processing <GET https://xn--80awqecag4e.xn--p1ai/shop/list/latunnyj/list-latunnyj-05x600x1500-l63-m-kopiya-ot-09012017-103948/> (referer: https://xn--80awqecag4e.xn--p1ai/shop/list/latunnyj/)
...
price = response.css("div.price meta[itemprop='price']").attrib['content']
KeyError: 'content'`
A
Так на странице может нет атрибута
КО
так я говорю, захожу через shell и проверяю, он есть.
A
А тьі еще напечатай респонс страниц
A
Сайт может блочить тебя
КО
окей
КО
сейчас гляну
КО
спасибо
КО
HostCMS session lock error: Timeout. Please wait!
КО
правильно я понял, что можно полечить выставлением
scrapy.contrib.downloadermiddleware.downloadtimeout.DownloadTimeoutMiddleware?MМ
Скорее всего слишком быстро парсите и сайт падает. Надо тротлинг добавить чтобы меньше запросов в секунду посылал иможет не будет падать.
КО
да, я это понял. Я пытаюсь, найти что то стоковое в скрепи для этого.
MМ
Autothrottling в скрапи есть
КО
я пока поставил DOWNLOAD_DELAY = 0.3
КО
так сейчас почитаю про тротлинг.
AR
CONCURRENT_REQUESTS_*