МС
Size: a a a
2020 November 10
AR
в Popen передаю путь до пайтона и путь до скрипта
передавай рабочий каталог
МС
одни я сегодня злой? 🧐
A
передавай рабочий каталог
тоесть путь до пайтона (env) и путь до рабочего каталога?
ЛГ
одни я сегодня злой? 🧐
no
AR
передавай в качестве рабочего каталога правильный путь, как было сказано изначально
СК
Господа! Подскажите, пожалуйста.
Я запускаю спайдер через scrapyd. Мне нужно, что выходной фал бился по достижениии опрделенного количества результатов. Количество резуьтатов я задаю через FEED_EXPORT_BATCH_ITEM_COUNT в файле settings.py. Форматтер, который, задает название файла задаю через функцию и передаю в параметр FEED_URI_PARAMS = 'myproject.utils.uri_params'
Я запускаю спайдер через scrapyd. Мне нужно, что выходной фал бился по достижениии опрделенного количества результатов. Количество резуьтатов я задаю через FEED_EXPORT_BATCH_ITEM_COUNT в файле settings.py. Форматтер, который, задает название файла задаю через функцию и передаю в параметр FEED_URI_PARAMS = 'myproject.utils.uri_params'
СК
но при запуске через scrapyd файл результатов не появляется. Внимание вопрос: почему?
СК
что я делаю не так
СК
?
СК
повторюсь. Запуск спайдера происходит через scrapyd
СК
как сделать, что бы данные записвались в формате {job_id}_{batch_id}.jl
СК
?
СК
руками запускаю, через командную строку - все рабтает нормально
СК
scrapy crawl spider_name -o "path_to_file/%(spider_name)s-%(batch_id)ds.json"
СК
в консоли я вбиваю такую команду