Спс 👌

люди, пните меня в верном направлении:
в проекте куча пауков, для разных типов ссылок надо давать разные паузы - что то не соображу, это мидлварь свой делать? или что? что бы было "правильно"
ну и, если есть что то похожее в тему, ткните в меня лицом

какие паузы?

между запросами

для каждого паука 1 настрйоку. DOWNLOAD_DELAY

В одном пауке могут быть разные типы?

в пауке - нет

тогда см.выше

ну тогда в кастом сеттингс

хм, еще раз попробую...
у меня какая то фигня творилась при запуске через CrawlerRunner

сеттингс не передавал потому что

    settings = get_project_settings()
    runner = CrawlerRunner(settings=settings)

и потом циклом пауки стартуют

ладн, попробую еще раз, если что не так - по конкретнее спрошу

Добрый день, посоветуйте гайд для изучения фреймфорка ?

https://docs.scrapy.org/en/latest/intro/tutorial.html

наверное, моветон такое предложить? :)

вообще, изучаешь основы, и, потом, по мере необходимости, лезешь в тонкости. На мой взгляд - такое самое оптимальное.
Ибо учить и применять прям все сразу... Ну, будет единоразовый парсинг 25 тыс страниц сайта без защиты. Нахрена к этому разбираться  с прокси, юзерагентами, пайплайнами, айтем экспортерами и прочими плюшками. А вот, когда поймешь, что все это надо - та и изучишь.

Ну с такими гайдами нету вопросов их пол интернета на всех языках, что-то вроде "hello world"... а чего-то комплексного не нашёл. Поэтому и поинтересовался, вдруг есть что-то подобное,а так спасибо за консультацию

ты чуток конкретнее спрашивай.
просто, если лезть пряв во все, только по поверхности (мидлвари, пайпы и прочее), это, как минимум, на пару десятков статей. Если влезать в дебри балансировки нагрузки, очереди и прочее - это вообще, по моему, полный п...ц.

а вот, если отбросить все выше перечисленное, то останется : то-то вроде "hello world" 😂
просто более этого, одному мидлвари интересны, второму экспортеры, третьему - еще что

делаешь, когда что то не понятно - спрашиваешь конкретные вопросы здесь или у гугла, так, по моему, быстрее всего постигнешь нужное тебе