К
Size: a a a
2019 December 27
МС
scrapy-do нравится
кстати, вот в документации написан периодический запуск : --when 'every 5 to 15 minutes'
а как узнать другие параметры? я чет, наверное, глупенкий, но не вкурил как запускать на периодичный парсинг
а как узнать другие параметры? я чет, наверное, глупенкий, но не вкурил как запускать на периодичный парсинг
МС
ээээ, п...ц, почему, когда я пишу вопрос - сразу ответ сам нахожу 😂
К
Это из либы https://schedule.readthedocs.io/en/stable/
МС
AR
кстати, а вот глупый вопрос
https://docs.scrapy.org/en/latest/topics/practices.html
тут все примеры "ждем пока не выполнится ....", а как сделать "запустить и хрен с ним, как нить отпработает"? :)
https://docs.scrapy.org/en/latest/topics/practices.html
тут все примеры "ждем пока не выполнится ....", а как сделать "запустить и хрен с ним, как нить отпработает"? :)
А кто реактор менеджить должен, скрапи или твой код?
К
кстати, а вот глупый вопрос
https://docs.scrapy.org/en/latest/topics/practices.html
тут все примеры "ждем пока не выполнится ....", а как сделать "запустить и хрен с ним, как нить отпработает"? :)
https://docs.scrapy.org/en/latest/topics/practices.html
тут все примеры "ждем пока не выполнится ....", а как сделать "запустить и хрен с ним, как нить отпработает"? :)
Так же, start в мультипроцесс засунуть
SS
может и лодку мне, но https://stackoverflow.com/questions/11528739/running-scrapy-spiders-in-a-celery-task не похоже на правду?
сам не пробовал, просто помню что нарывался на пару Scrapy & Celery....
сам не пробовал, просто помню что нарывался на пару Scrapy & Celery....
Михаил, спасибо. Я находил похожие решения, но у меня возникают проблемы с тем, что многое поменялось и версии языка и версии приложений... и все время лезут разные ошибки, на котоые мозгов своих не хватает. Но большое спасибо за ответ, буду пробовать.
К
Михаил, спасибо. Я находил похожие решения, но у меня возникают проблемы с тем, что многое поменялось и версии языка и версии приложений... и все время лезут разные ошибки, на котоые мозгов своих не хватает. Но большое спасибо за ответ, буду пробовать.
Зачем тебе селери?
SS
Зачем тебе селери?
Чтобы запускать из джанги разные парсеры с разными параметрами, в том числе по расписанию
SS
Зачем тебе селери?
Есть более правильные решения?
iz
Есть более правильные решения?
scrapydweb посмотри там на фласке , но думаю можно что то взять
SS
Зачем тебе селери?
Смотрел в сторону scrapyd, но пока не понял, стоит ли еще и его в структуру запихивать. Celery все равно нужен и для отправки уведомлений и для формирования отчетов. Вот и подумал, что единая структура управления задачами будет правильным решением.
SS
scrapydweb посмотри там на фласке , но думаю можно что то взять
Scrapydweb это просто система мониторинга распределенной пачки серверов со scrapyd. Но ими все равно нужно рулить и задачи им отдавать.
iz
Scrapydweb это просто система мониторинга распределенной пачки серверов со scrapyd. Но ими все равно нужно рулить и задачи им отдавать.
таймер и тп есть там , параметры тоже
SS
таймер и тп есть там , параметры тоже
Хорошо, посмотрю. Может просто при помощи celery буду туда задачи отправлять, а не в рамках воркера celery их запускать
SS
Типичные проблемы твистеда, кто пытался куда-либо прикрутить скрапи с ними знаком
Да, именно с ним проблемы и есть. Один раз все работает шикарно, а на втором проходе крешится