i
Size: a a a
2020 November 09
АМ
Да, я понимаю. Это другая технология. В моём распоряжении есть 300 дата-центр прокси, между которыми можно переключаться. И это работает для скрэпинга. Но для более органического трафика не подходит.
A
Ответ да - можно отключить загрузку картинок.
A
Дальше делай как хоч
АМ
В общем спасибо за рекомендации. Я буду это ковырять день-два и потом отпишусь, если что.
2020 November 10
SS
Если ставить хром экстеншн, то Амазон может палить плагины, которые стоят на браузере
амазон парсится на простых scrapy.Requests/SplashRequests с user-agent браузера и более-менее приличными проксями. Может забанить только за превышение частоты запросов 6 в минуту.
SS
прочитал, задача не просто спарсить товары
SC
Is there any freelancer project for scrapy I will do free😊
A
Is there any freelancer project for scrapy I will do free😊
A
Is there any freelancer project for scrapy I will do free😊
Or you want real project?
SS
А можно как-то на уровне паука игнорировать urls которые содержать "/brands/"?
SC
Andrii
Or you want real project?
Yes real project.
S
А можно как-то на уровне паука игнорировать urls которые содержать "/brands/"?
If?)
A
If "***" in url:
pass?)
pass?)
К
А можно как-то на уровне паука игнорировать urls которые содержать "/brands/"?
Crawl паук?
SS
Crawl паук?
rules в смысле?
К
rules в смысле?
Да, там легко можно ограничить. А в простом пауке if in нормально будет работать
SC
Andrii
Or you want real project?
Yes I want real project I willl complete free of cost.
A
Yes I want real project I willl complete free of cost.
Try to scrape all restaurant in yelp.com