Size: a a a

2020 August 30

К

Кирилл in Scrapy
Ты останавливаешь реактор, а его нельзя перезапускать
источник

К

Кирилл in Scrapy
Ты делаешь тоже самое что делает CrawlerProcess
источник

К

Кирилл in Scrapy
Конечно интересно почему нельзя, но я этого не знаю
источник

AR

Andrey Rahmatullin in Scrapy
Ну да, надо один раз запускать реактор, в таске только раннеры создавать
источник

S

Spirit💎 in Scrapy
реактор получается в фоне все время ждет?
источник

AR

Andrey Rahmatullin in Scrapy
Максим Петров
CELERY_WORKER_MAX_TASKS_PER_CHILD = 1
А это, судя по названию, должно было помочь :)
источник

AR

Andrey Rahmatullin in Scrapy
Spirit💎
реактор получается в фоне все время ждет?
Да
источник

S

Spirit💎 in Scrapy
я так понял, что у меня вообще таск как бы не завершается, когда вызываешь celery -A worker inspect active, он каждый раз начинается заново и проходит весь цикл до выгрузки в json
источник

S

Spirit💎 in Scrapy
а потом в конце говорит, что очередь пуста?
источник

К

Кирилл in Scrapy
Я с ходу не смог найти причини почему нельзя запускать реактор второй раз. Разве что эти строки "it's best to assume that your program will either crash or run forever, and that "cleanly exiting" is not really an option". Похоже на какую-то недоработку архитектуры, а не серьезное ограничение, из-за которой не добавили перезапуск
источник

К

Кирилл in Scrapy
Интересно в ближайшие пять лет в пайтоне появится нормальный асинхрон?
источник

S

Spirit💎 in Scrapy
Spirit💎
а потом в конце говорит, что очередь пуста?
https://monosnap.com/file/jWOjugOrasAVZRltQHG6xIcafjnycI

это конечно не совсем про скрапи, но я не могу понять, почему запускается этот таск по любому вызову селери
источник

К

Кирилл in Scrapy
Может у тебя где-то на уровне модуля идет вызов?
источник

S

Spirit💎 in Scrapy
Кирилл
Может у тебя где-то на уровне модуля идет вызов?
причем, при запуске джанги тоже запускается спайдер🙀
источник

К

Кирилл in Scrapy
Ну тогда точно где-то при импорте срабатывает
источник

S

Spirit💎 in Scrapy
Кирилл
Ну тогда точно где-то при импорте срабатывает
нашел, действительно. проверял скрипт руками и забыл закомментить
источник

S

Spirit💎 in Scrapy
Максим Петров
CELERY_WORKER_MAX_TASKS_PER_CHILD = 1
в общем дошел до того, что таски выполняются спайдером, но селери их помечает как активными. вернул остановку реактора и с ограничением в конфиге на кол-во тасков в чайлде все работает 🙂
источник

МП

Максим Петров... in Scrapy
Spirit💎
в общем дошел до того, что таски выполняются спайдером, но селери их помечает как активными. вернул остановку реактора и с ограничением в конфиге на кол-во тасков в чайлде все работает 🙂
👍👌
источник

S

Spirit💎 in Scrapy
Максим Петров
👍👌
а ты результат в файл сохраняешь или отдаешь тоже в таск на запись в базу?
источник

МП

Максим Петров... in Scrapy
to database
источник