S
Size: a a a
2020 September 14
ss
мне надо в цикле ети икспаси, поетому написал NewsSpider.retry_xpath = item['link']
ss
или так нельзя?
i
Подскажите, как нужно сделать. У меня когда парсятся даные с сайта один раз поле парситься одлин раз приходит None, как мне сделать чтобы оно делало повторный запрос, или так нельзя?
ты сначала в дебаге запусти на том url, который выдает None повторно, если на повторном прогоне они все же выдают нужные данные, то уже ковыряй там повторы. А то вдруг у тебя просто текущая логика как-то хромает, что None попадаются и ты не в ту сторону копаешь.
ss
ты сначала в дебаге запусти на том url, который выдает None повторно, если на повторном прогоне они все же выдают нужные данные, то уже ковыряй там повторы. А то вдруг у тебя просто текущая логика как-то хромает, что None попадаются и ты не в ту сторону копаешь.
Запускал уже, оно раз выдает раз нет, неуспеват или что. Я просто непонимаю как именно в мидлварах оно лолжно быть, чтобы повторниый запрос отправляло
ss
"раз выдает раз нет" - на одном и том же урле условного продукта?
da
ss
Например мне нужно спарсить 7 страниц, оно один раз парсит все второй непарсит две третий рас неперсит одну
ss
а что показывает при этом условный view(response) в scrapy shell? бан там, капчу или пустую какую-то страничку с ошибкой?
ето именно елемент на странице
ss
сам респонс со страници 200
ss
Смотрел, оно так же как я говорил, один раз может все загрузить елементы один раз не все
2020 September 15
BK
Привет. Подскажите как можно ассертить респонс статус код в скрапи?
Есть странице где кидает ошибку 500, но в JSON мне сохраняет почему-то все страницы с ответом 200 даже там где респонс 500
Есть странице где кидает ошибку 500, но в JSON мне сохраняет почему-то все страницы с ответом 200 даже там где респонс 500