Телеграмм чат группы scrapy

ты про запуск CrawlerProcess в джанге? :)

Да

ну да

14:21пожаловаться #3

ещё и во вьюхе

14:21пожаловаться #4

Хотя бы scrapyrt попробуй

14:21пожаловаться #5

ᅠ

ᅠ in Scrapy

Кирилл

Хотя бы scrapyrt попробуй

а если у меня спайдер уже внутри настроен со всеми url/callback , мне просто курлить с одним гет параметром(spider_name)?

14:25пожаловаться #6

ну да

14:26пожаловаться #7

точнее спайдернейм в урл вообще

14:26пожаловаться #8

или как там это делается

14:26пожаловаться #9

да вроде, уже не помню точно

14:27пожаловаться #10

ᅠ

ᅠ in Scrapy

Понял, а в докер это пихал кто-то?

14:27пожаловаться #11

но помни, что это только для мальенких кравлов подходит, не больше 5 мин примерно

14:27пожаловаться #12

ᅠ

Понял, а в докер это пихал кто-то?

конечно

14:27пожаловаться #13

https://github.com/scrapinghub/scrapyrt/blob/master/Dockerfile

GitHub

scrapinghub/scrapyrt

Scrapy realtime. Contribute to scrapinghub/scrapyrt development by creating an account on GitHub.

14:28пожаловаться #14

ᅠ

ᅠ in Scrapy

Кирилл

но помни, что это только для мальенких кравлов подходит, не больше 5 мин примерно

бля

14:28пожаловаться #15

ᅠ

ᅠ in Scrapy

А для 24/7 скрапперов что тогда брать?

14:28пожаловаться #16

ну так и в джанге точно так же

14:28пожаловаться #17

scrapyd или scrapy-do

14:29пожаловаться #18

лол, так ты просто пытался запустить паука, а не получить результат?

14:29пожаловаться #19

🤔