К
Ну типа в тот момент когда он получает страницу инст поинт)
Думал скрепи автоматически может на это ошибку кидать)
Size: a a a
2020 September 15
МС
скрапи скажет, по умолчанию, в логе
и вообще, ты уверен, что он заходит на эту страницу?
и вообще, ты уверен, что он заходит на эту страницу?
BK
скрапи скажет, по умолчанию, в логе
и вообще, ты уверен, что он заходит на эту страницу?
и вообще, ты уверен, что он заходит на эту страницу?
вот тут несовсем)) такое ощущение что он просто берет ссылки и всё
BK
Как тебе идея, использовать сервер для уведомлений?
то что выше написал?) prometheus + grafana
МС
вот тут несовсем)) такое ощущение что он просто берет ссылки и всё
правильно, он с первой страницы берет ссылки и все
BK
правильно, он с первой страницы берет ссылки и все
т.е ему еще нужно добавить, чтобы он кликал
МС
т.е ему еще нужно добавить, чтобы он кликал
аллилуйя, возрадуемся.
вообще, паук должен ходить по страницам, по тем, по которым ты скажешь
вообще, паук должен ходить по страницам, по тем, по которым ты скажешь
К
то что выше написал?) prometheus + grafana
Я не знаком с этими инструментами. Но если это твой сайт, как один из вариантов можно сделать кастомную страницу с 500 ответом которая будет отправлять уведомление при ошибке
BK
Спасибо за помощь, буду дальше разбираться) возможно всетаки стоит обратить внимание на какой-то инструмент мониторинга)
A
rules = [Rule(LinkExtractor(allow='c/'),может сразу как то сохранять ССЬІЛКИ куда-то ? ТХТ и т.д.
callback='parse_attr', follow=True)]
