КО
Спасибо.
AUTOTHROTTLE_ENABLED работает не коректно?Size: a a a
2020 October 12
A
что делать если
AR
я думаю обновлять своё понимание корректности
A
AUTOTHROTTLE_ENABLED = True
# The initial download delay
AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
AUTOTHROTTLE_MAX_DELAY = 30
# The average number of requests Scrapy should be sending in parallel to
# each remote server
AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
AR
A
а оно минимум 50 реквестов в минуту сделало
AR
экстенжен-то подключен?
A
дурной вопрос, AUTOTHROTTLE_ENABLED = True ?
AR
ну я про EXTENSIONS, его правда оттуда только специально выключать
MМ
Я правильно понимаю для записи Item в БД используют Pipeline, не exporters? Или для записи в БД можно и экспортерами пользоватся?
AR
что напишешь то и юзай
AR
опыт показывает что люди и в файлы только из пайплайнов пишут почему-то, хотя пайплайны это про постобработку
AR
наверно потому что пайплайны писать вполне стрейтфорвард, а экспортеры не особо документированы
AR
но насчёт бд - у экспортеров апи всё-таки про файлы, со стартом и стопом
MМ
https://github.com/filyph/scrapy-sqlite/blob/master/scrapy_sqlite/pipelines.py#L13 насколько я понял коннект не закрывают к БД почему-то. Это возможно делать через экспортеры?
AR
это и в пайплайне возможно
AR
в экспортере в finish_export, в пайплайне ну например в сигнале spider_closed
AR
просто когда спайдер завершается, коннект и так закроется 🤷♂️