МС
в какой json сохраняет?
Size: a a a
2020 September 15
BK
ну вот запускаю такой командой
scrapy crawl pages -o data.jsonBK
оно авторизуется и проходит по страницам
start_urls = [env('PM_URL_LOGIN')]BK
В итоге получаю такой json
{"url": "/", "status": 200},
{"url": "#", "status": 200},
{"url": "#", "status": 200},
{"url": "/logout", "status": 200},
{"url": "/", "status": 200},
{"url": "#", "status": 200},AR
В итоге получаю такой json
{"url": "/", "status": 200},
{"url": "#", "status": 200},
{"url": "#", "status": 200},
{"url": "/logout", "status": 200},
{"url": "/", "status": 200},
{"url": "#", "status": 200},И?
BK
Ну вот например на некоторых страницах, стреляет exception с кодом 500 в хедере... но он записывается почему-то 200
BK
AR
На 500 коллбэк вообще не вызывается если что
BK
Это у тебя в браузере 500, а в скрапи все 200, потому что, если ты явно не указывал, что нужно обрабатывать, 500 статусы не обрабатываются
Понял, а есть в доке по этому поводу инфа? по обработке статусов?
BK
надо добавить settings HTTPERROR_ALLOW_ALL или статус 500 в HTTPERROR_ALLOWED_CODES
поставил
HTTPERROR_ALLOW_ALL = True
HTTPERROR_ALLOW_ALL = True
AR
Понял, а есть в доке по этому поводу инфа? по обработке статусов?
Ты б лог для начала прочитал