версия скрапи какая?

все последнее ставил

Scrapy 2.3.0

"Because of its internal implementation, you must explicitly set callbacks for new requests when writing CrawlSpider-based spiders; unexpected behaviour can occur otherwise."

вообще из кода видно что CrawlSpider тут зря

тем более что если его убрать всё работает

Только сейчас увидел, что _parse ввели вместо parse

а явный колбэк где вообще должен указываться?

почитай туториал

а, я как раз думал, что start_urls меня обережет от этого

типа он по дефолту вызывает parse в итерации по ним

а, точно

да, проблема не в этом, а в том что ты никаких рулов не объявил

CrawlSpider конечно никакой коллбэк по дефолту не вызывает, он не про это

parse_start_url(response, **kwargs)[source]
This method is called for each response produced for the URLs in the spider’s start_urls attribute. It allows to parse the initial responses and must return either an item object, a Request object, or an iterable containing any of them.

мне нужно скачать 1000 файлов по 400 мегов с сервера. у меня есть свой сервак с широченным каналом и 100 прокси (айпи сервака в бане).

сервер постоянно рвет соединение. мне удалось докачать файл через curl с параметром -C с 3-4 заходов, но я не могу так каждый файл докачивать постоянно. что делать?

может ли скрейпи справиться с задачей или какая еще утилита есть? если я подставлю в обычный Scrapy.request ссылку на файл, скрейпи сможет докачать файл при обрыве соединения?

мне главное как можно быстрее получить файлы, костыльность решения значения не имеет

нет, скрейпи ничего не докачивает и он вообще не про то

понял, спасибо

угу я так и думал, просто наивный вопрос