господа, добый день! хочу понять, правильно ли я действую.

суть такая:
задача №1. нужно краулить все страницы на сайте и на них вытаскивать внешние ссылки (ну то есть те, которые не совпадают с доменом пациента).

задача №2. заходить на внешние ссылки и парсить определенные данные.

в целом, задачи примитивные до безобразия, но я пока не понял как правильно работать со скрапи.

я застопорился на первой задаче. поскольку скрапи я буду запускать по требованию сервера, то запускаю паука через CrawlerProcess, а не через CLI. краулер ходит по всем внутренним ссылкам и в коллбэке правила метод parse выдергивает все внешние ссылки. вроде все ок, но я не знаю как быть дальше))

в моем представлении, окончание работы краулера должно сопровождаться итоговым объектом, с которым я могу продолжить работать в скрипте. но, как я понял, дефолтная логика скрапи другая, то есть он делает экспорт файл с объектами, верно?

в общем, как я понял, для первой задачи мне надо сделать следующее:
1. создавать item каждой страницы в методе parse
2. в pipeline вызывать process_item под каждый item, и в этом process_item делать запись в бд

а во второй задаче уже делать селект в базе, удалять дубликаты и действовать по той же логике, что и в абзаце выше, чтобы сохранить результаты парсинга в бд.

логично или не совсем?) что бы вы поменяли, обладая опытом работы со скрапи

Вроде более менее норм, только лучше не удалять дубликаты, а не делать их. Ну и похоже тебе нужен scrapyd с его API для удобного запуска парсинга

спасибо! но с дубликатами там выходит обязательное условие, например:
страница 1 ссылается на A, B, C
страница 2 ссылается на B, X, Y
их придется хранить, но в целях экономии ресурсов при задаче 2 чистить дубликаты, чтоб на вход приходили A, B, C, X, Y

и по scrapyd, его же возможно с джанговской ORM подружить?

спасибо! но с дубликатами там выходит обязательное условие, например:
страница 1 ссылается на A, B, C
страница 2 ссылается на B, X, Y
их придется хранить, но в целях экономии ресурсов при задаче 2 чистить дубликаты, чтоб на вход приходили A, B, C, X, Y

и по scrapyd, его же возможно с джанговской ORM подружить?

Тебе нужно получить все ссылки, или сохранить что на что ссылается?

спасибо! но с дубликатами там выходит обязательное условие, например:
страница 1 ссылается на A, B, C
страница 2 ссылается на B, X, Y
их придется хранить, но в целях экономии ресурсов при задаче 2 чистить дубликаты, чтоб на вход приходили A, B, C, X, Y

и по scrapyd, его же возможно с джанговской ORM подружить?

а ORM можешь как обычно в экспортерах делать или в пайплайне

прокси точно аноним?

это не ответ на мой вопрос :).
сайт может палить что ты с АВС работаешь, если прокся кривая. Ну и не забывай о TTL, по нему могут систему палить, если параноики