АП
Я просто задачу не понимаю, скрапи логирует и сам. Если хочется делать некий умный логгинг/метрики то это уже не задача скрапи, решается через настройку логгинг либы.
Size: a a a
2019 October 31
EB
подскажет что? сформулируй нормально вопрос, какие исключения ловить?
М
Я просто задачу не понимаю, скрапи логирует и сам. Если хочется делать некий умный логгинг/метрики то это уже не задача скрапи, решается через настройку логгинг либы.
Не, логгинг не основная задача. Тут более верным наверное будет прикручивание каких то действий к исключениям. Перезапуск, как вариант, либо запуск сторонних модулей... Что то такое
АП
Перезапуск это задача внешняя по отношению к скрапи. Если хочется пробовать заново дёргать зафейленве урлы то есть механизм ретраев.
Запуск сторонних модулей очень широкое понятие, решается как извне скрапи так и изнутри.
Запуск сторонних модулей очень широкое понятие, решается как извне скрапи так и изнутри.
АП
Напоминаю изначальный вопрос, в котором ничего из новых вводных что ты сейчас дал не было.
АП
Народ, где можно посмотреть различные варианты перехвата исключений в пауках? Как в мидлварях так и в теле может... что то мало примеров нашёл
АП
Не всегда получается. А в официальной доке нет информации поподробнее
EB
есть еще job_dir, чтобы после перезапуска запускать с места останова
АП
Очередь реквестов как я помню тоже можно хранить между перезапусками, но это специфичная задача, я такого не делал.
М
Очередь реквестов как я помню тоже можно хранить между перезапусками, но это специфичная задача, я такого не делал.
Вот это что то наверное ближе к вопросу уже... Можно ли это сделать не прикручивая тот же редис, к примеру
М
Джобдир не пользовал, если честно. Какое резюме? Скорость, потребление памяти...
EB
очередь в файлы сохраняет, скорее всего хватит
М
очередь в файлы сохраняет, скорее всего хватит
К оперативке чувствителен? На впс её немного обычно...
EB
не думаю, тотже скрапи, просто сохраняет очередь в файлы
EB
вот фс может и нагрузит, но зависит от объема
EB
можно переопределить “получен новый запрос” и “получение запроса для загрузки” и хранить где удобно
EB
но как это к исключениям относится?