так, а что в логе ? там всё ок возвращает без ошибок

Ну вот, а говоришь 500

ну так, а если я вручную иду))) то 500ю возвращает
HTTPERROR_ALLOW_ALL = True
в settings.py не помогло

Кого волнует что там вручную

Конечно не помогло, если 500 не приходят

Если есть задача именно получить 500 в этом запросе, надо смотреть что браузер шлёт

В логах должно было быть HTTP status code is not handled or not allowed, плюс по завершению паука в статсах есть поле httperror/response_ignored_status_count

Ты бы во вкладке Нетворк браузера посмотрел бы какой код он даёт

500, выше писал

1. 200 ответ, ты тело ответа смотрел? может тебя там послали, куда подальше
2. что означают решетки и слеши в json, ты точно на installation ходишь?
3. посмотрел код, а с какого перепуга тебе 500 ответ что то должен выдать? на той странице ссылки есть?

абажаю такие вопросы, "у меня что-то не работает, но я сайт не покажу, ибо это ппц какой секрет" :)

1. Большинство страниц работает, данные приходят ок
2. это просто анчок ссылки
3. Ссылок там нет, просто при переходе на /installation возвращает 500...

В коде же вроде всё ясно написано)
оно логинатся и с мейн пейджа дёргает все ссылки) и вот где при переходах респонс 500 мне нужно кидать алерт, что у вас тут страничка отвалилась, а сейчас получается что 500ю возвращает как 200ю и несовсем могу понять что не так делаю)

угу, а теперь подумай, как твой код тебе скажет, что у тебя есть 500 ответ?

Почему бы и нет?

Ты для своего сайта делаешь?

Ну типа в тот момент когда он получает страницу инст поинт)
Думал скрепи автоматически может на это ошибку кидать)

Это чекер страниц, или парсер?

Чекер страниц

ну, код с пастебина может показать, что он собрал или не собрал ссылки.
и не забываем, что для 500 ответа нужны условия. а вот выполняет из паук или нет - хз

Задача, иногда чекать страницы что они вернут 200

Советовали для таких моментов мониторинга лучше использовать prometheus + grafana, но я решил таким способом попробовать через скрапи)