b
Size: a a a
2020 November 12
AR
не понял в чём именно вопрос
AR
параметры передавать через -a
b
не понял в чём именно вопрос
Чтобы краулер запускался последовательно, без моего участия. Каждый раз с новыми параметрами (есть список параметров).
МС
Чтобы краулер запускался последовательно, без моего участия. Каждый раз с новыми параметрами (есть список параметров).
сделать запуск из питонового скрипта (там что угодно можно понаставить в паука). А сам скрипит на крон повесить
b
сделать запуск из питонового скрипта (там что угодно можно понаставить в паука). А сам скрипит на крон повесить
Спасибо
SS
А как из такого HTML собрать текст:
Please see the SFC’s press release dated 20 August 2020.
Please see the SFC’s press release dated 20 August 2020.
AR
удалить теги при помощи w3lib.html
AR
есть более сложные либы, но тут и этой хватит
A
("//li//text()").getall()
2020 November 13
М
Здравствуйте, проблема установки scrapy на Windows 10, python 3.9. Кто сталкивался с подобной проблемой?
AR
Михаил
Здравствуйте, проблема установки scrapy на Windows 10, python 3.9. Кто сталкивался с подобной проблемой?
По доке ставишь?
МС
Михаил
Здравствуйте, проблема установки scrapy на Windows 10, python 3.9. Кто сталкивался с подобной проблемой?
варианты:
1. https://docs.scrapy.org/en/latest/intro/install.html#installing-scrapy
2. попробуй через pipenv, у меня по дефолту взлетело
1. https://docs.scrapy.org/en/latest/intro/install.html#installing-scrapy
2. попробуй через pipenv, у меня по дефолту взлетело
МС
правда, питон, кажись 3,8
МС
и да, через pip у меня не ставится, а анаконду просто жаба давит ставить. Я периодически грохаю все папки окружений и все, если накапливаются :)
М
и да, через pip у меня не ставится, а анаконду просто жаба давит ставить. Я периодически грохаю все папки окружений и все, если накапливаются :)
Всем спасибо, я пытался через pip) анаконду аналогично не хочу ставить, оперативки мало))
ЛГ
AR
ну так сразу надо было сказать "ставлю не по доке"
AR
непонятно конечно при чём тут оперативка, но ок
ЛГ
мне кажется одна вкладка хрома сожрет больше, чем окружение анаконды