Size: a a a

2020 October 13

A

Andrii in Scrapy
SoHard 🎄
забавно, а что за компания?
агрегатор информации
источник

S

SoHard 🎄 in Scrapy
Скидка 92%
источник

S

SoHard 🎄 in Scrapy
источник

A

Andrii in Scrapy
ето же удеми)
источник

A

Andrii in Scrapy
я так датасайнс тож купил
источник

A

Andrii in Scrapy
в индусов еще дешевле
источник

A

Andrii in Scrapy
тож так ничего
источник

A

Andrii in Scrapy
источник

A

Andrii in Scrapy
а есть что новее и лучше https://github.com/mattes/rotating-proxy
источник

AR

Andrey Rahmatullin in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
или надо именно тор
источник

A

Andrii in Scrapy
ТОР, ротейшен прокси юзаю для пейд прокси, а хочу еще тор подключить
источник

A

Andrii in Scrapy
в линк екстрактор можна подключить прокси?
источник

AR

Andrey Rahmatullin in Scrapy
лолшто
источник

AR

Andrey Rahmatullin in Scrapy
линкэкстрактор только экстрактит линки
источник

AR

Andrey Rahmatullin in Scrapy
а прокси обычно мидлварью подключается
источник

A

Andrii in Scrapy
rules = [Rule(LinkExtractor(allow='/', deny=['/person', '/startup', '/product', '/acquisition']),
                 callback='parse_attr', follow=True, process_request='process_request')]

   def process_request(self, request):
       if 'startupranking.com' in request.url:  # <-- set proxy for this URL?
           meta = request.get('meta', {})
           meta.update({'proxy': '***'})
           return request.replace(meta=meta)
       return request
источник

A

Andrii in Scrapy
но еррор
TypeError: process_request() takes 2 positional arguments but 3 were given
источник

AR

Andrey Rahmatullin in Scrapy
ну да, сигнатура неправильная
источник

AR

Andrey Rahmatullin in Scrapy
написано ж
источник