Size: a a a

2020 February 10

iz

izzz zzi in Scrapy
logger.info(req.text/req.body)
источник

S

Sergey in Scrapy
izzz zzi
logger.info(req.text/req.body)
можно подробней, мб пример какой или откуда это?
источник

А

Александр in Scrapy
Добрый день коллеги, никогда не имел дела с scrapy всегда парсил в связке  requests + BS4
вот решил освоить новое, и затык на установке библиотеки
Command "python setup.py egg_info" failed with error code 1 in C:\Users\Саня\AppData\Local\Temp\pip-install-zdxg9pmb\cffi\
источник

А

Александр in Scrapy
возможно были у кого нибудь еще проблемы с установкой пакета
источник

EB

Elisei Badanin in Scrapy
русский язык в пути?
источник

EB

Elisei Badanin in Scrapy
было подобное, но года 3 уже не пользовался виндой
источник

А

Александр in Scrapy
Elisei Badanin
русский язык в пути?
да есть 1 слово
источник

AR

Andrey Rahmatullin in Scrapy
Александр
Добрый день коллеги, никогда не имел дела с scrapy всегда парсил в связке  requests + BS4
вот решил освоить новое, и затык на установке библиотеки
Command "python setup.py egg_info" failed with error code 1 in C:\Users\Саня\AppData\Local\Temp\pip-install-zdxg9pmb\cffi\
источник

EB

Elisei Badanin in Scrapy
Александр
да есть 1 слово
это не вопрос, а предложение возможного решения…имя пользователя я вижу)
источник

А

Александр in Scrapy
да я тоже так думаю\
источник

Y

Yurii in Scrapy
Какой-то странный глюк словил
url = '.../publication_search.jsp?cpage=0'
page = int(response.url.split('=')[-1]) + 1
ValueError: invalid literal for int() with base 10: ''
Никак не могу 0 превратить в int
При запуске через shell url нормально ковертируется в число
Урл копировал в шел прям из кода паука
источник

AR

Andrey Rahmatullin in Scrapy
при чём тут код паука если сплитится response.url
источник

Y

Yurii in Scrapy
scrapy shell '.../publication_search.jsp?cpage=0'
page = int(response.url.split('=')[-1]) + 1
Норм сработало
источник

AR

Andrey Rahmatullin in Scrapy
понятно дело
источник

AR

Andrey Rahmatullin in Scrapy
просто в пауке-то другой урл в response.url
источник

Y

Yurii in Scrapy
Это start_url был
источник

AR

Andrey Rahmatullin in Scrapy
нет
источник

Y

Yurii in Scrapy
Ну предположим, прикол в том что я его на print выводил без конвертации и там было 0
Так же была проверка на равенство response.url.split('=')[-1]  == '0' True
источник

AR

Andrey Rahmatullin in Scrapy
это всё конечно круто, но видимо было про другие случаи, а не про тот, когда исключение случилось
источник

AR

Andrey Rahmatullin in Scrapy
ну или вообще не на этой строчке падает, кто его знает
источник