Size: a a a

2020 September 26

VR

Vadim Ryzhkov in Scrapy
Как я понимаю, запуск с аргументом --proxy-server=https://login:password@ip:port не работает.
В инете так-же есть решение через расширение, но тоже не работает.
источник

AR

Andrey Rahmatullin in Scrapy
Значит дело не в хроме
источник

VR

Vadim Ryzhkov in Scrapy
Сам прокси работает

В хроме же ошибка err_proxy_connection_failed
источник

A

Andrii in Scrapy
Vadim Ryzhkov
Как я понимаю, запуск с аргументом --proxy-server=https://login:password@ip:port не работает.
В инете так-же есть решение через расширение, но тоже не работает.
Как запускаеш?
источник

VR

Vadim Ryzhkov in Scrapy
В строке прокси хранятся в формате ip:port:login:password
options.add_argument(f"--proxy-server=https://{self.proxy.split(':')[2]}:{self.proxy.split(':')[3]}@{self.proxy.split(':')[0]}:{self.proxy.split(':')[1]}")
источник

AR

Andrey Rahmatullin in Scrapy
(вообще в мане не пишут что --proxy-server поддерживает передачу реквизитов)
источник
2020 September 27

o

orseniyy☮ in Scrapy
йоу может кто помочь с спайдером не понимаю в чем проблема
источник

A

Andrii in Scrapy
Давить пауков нужно
источник

А

Алех in Scrapy
парни, кто то парсил сайт с авто mobile.de ?
источник

А

Алех in Scrapy
хочу найти машину но лопатить руками жуть как долго
источник

o

orseniyy☮ in Scrapy
при запуске в консоли с "scrapy crawl Latest_News -o PD_data.csv" создает пустой файл
источник

o

orseniyy☮ in Scrapy
источник

o

orseniyy☮ in Scrapy
источник

o

orseniyy☮ in Scrapy
сам сайт
источник

AR

Andrey Rahmatullin in Scrapy
ничего не нашлось, дебаж спайдер
источник

А

Алех in Scrapy
не ,может уже кто то писал для себя и есть репо на гитхабе
источник

o

orseniyy☮ in Scrapy
Переслано от orseniyy☮
окей скорее всего проблема была в xpath-ах некорректно прописаных
источник

o

orseniyy☮ in Scrapy
Переслано от orseniyy☮
щас я смог вытянуть ссылки
источник

o

orseniyy☮ in Scrapy
Переслано от orseniyy☮
тайтлы ещё нет
источник

o

orseniyy☮ in Scrapy
Переслано от orseniyy☮
ссылки между прочим неполные идут а предрологается что перед ними домен finance.yahoo.com вставляется
источник