КБ
я все уже поняла)
Size: a a a
2019 November 12
М
О_о путти под линуксом!
КБ
а вот эту страничку сложно освоить ? (про распределенных пауков) https://docs.scrapy.org/en/latest/topics/practices.html
нужно просто добавить пару строк к файлу и все, да?
нужно просто добавить пару строк к файлу и все, да?
КБ
и какое максимальное кол-во виртуальных машин (в докере например) скапер-пауков могу одновременно запустить ? (штук 1000 можно?)
КБ
и есть разница ,где лучше деплоить на сервере или в облаке ? (https://docs.scrapy.org/en/latest/topics/deploy.html#deploy-scrapy-cloud)
это же одно и тоже вроде бы....
это же одно и тоже вроде бы....
АП
и какое максимальное кол-во виртуальных машин (в докере например) скапер-пауков могу одновременно запустить ? (штук 1000 можно?)
1. Сколько угодно.
2. Докер это не вм.
2. Докер это не вм.
АП
и есть разница ,где лучше деплоить на сервере или в облаке ? (https://docs.scrapy.org/en/latest/topics/deploy.html#deploy-scrapy-cloud)
это же одно и тоже вроде бы....
это же одно и тоже вроде бы....
Есть, тарификация разная.
2019 November 13
АП
есть что то готовое что бы html почистить , удалить js и тп?
Санитизатор.
iz
Санитизатор.
?/
Б
Ребят привет, кто может помочь, пишу парсер надо добавить поддержку прокси, точнее я её добавил, но тот сайт что паршу всеравно блочит из-за слишком частые запросы. Как мне обойти это?
EB
использовать больше прокси или слать меньше запросов
Б
А как я могу проверить с какого я ip захожу?
B
EB
Богдан
А как я могу проверить с какого я ip захожу?
какой указал, с того и заходишь…ип в мете передается
АП
Прикольная тулза, спасибо
Пожалуйста;)