В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

657 membersпожаловаться на группу
2020 September 15

i

i in Scrapy
в том ответе на стековере есть еще EDIT2 и там вроде предлагается засунуть start_urls и rules в определение класса и тогда должно мол сработать. Или вы не об этом?
источник
20:02пожаловаться#1

К

Кирилл in Scrapy
Я сильно не вчитывался что там написали
источник
20:03пожаловаться#2

i

i in Scrapy
там для того, что "start_urls and rules definition buried in the constructor:", видимо другой метод это переопределить init поэтому
источник
20:04пожаловаться#3

К

Кирилл in Scrapy
Там же советы к тому пауку что в вопросе
источник
20:05пожаловаться#4

i

i in Scrapy
да я так понял они плавно все-равно сместились в CrawlSpider
источник
20:05пожаловаться#5

i

i in Scrapy
но утверждать ничо не буду, я 50% тока понял а остальное какие-то догадки уже
источник
20:06пожаловаться#6

S

Spirit💎 in Scrapy
Кирилл
Нет, не сработает, нужно и там и там прописать
хм, а дебаг с принтом из parse() показывает, что работает
источник
20:06пожаловаться#7

S

Spirit💎 in Scrapy
но я еще проверю щас, как прокси подключу
источник
20:07пожаловаться#8

К

Кирилл in Scrapy
Да тут уже всё решили) нужен процесс реквест для правил и старт урлс, можно это в одну функцию вынести
источник
20:07пожаловаться#9

S

Spirit💎 in Scrapy
👍
источник
20:09пожаловаться#10

S

Spirit💎 in Scrapy
Andrii
еще вопросик, кто смог подружить https://github.com/TeamHG-Memex/scrapy-rotating-proxies с прокси с кредами?
GitHub
TeamHG-Memex/scrapy-rotating-proxies
use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.
подружил?
источник
22:14пожаловаться#11

A

Andrii in Scrapy
Spirit💎
подружил?
Да
источник
22:19пожаловаться#12

A

Andrii in Scrapy
Вроде, уже забьіл)
источник
22:19пожаловаться#13

S

Spirit💎 in Scrapy
а как кормить ему прокси с данными авторизации то в итоге?
источник
22:20пожаловаться#14

A

Andrii in Scrapy
http://username:password@ip:port
источник
22:25пожаловаться#15

A

Andrii in Scrapy
Вроде так
источник
22:25пожаловаться#16

S

Spirit💎 in Scrapy
Andrii
http://username:password@ip:port
протокол точно нужен?
источник
22:25пожаловаться#17

S

Spirit💎 in Scrapy
щас попробую в общем)
источник
22:25пожаловаться#18

iz

izzz zzi in Scrapy
Spirit💎
протокол точно нужен?
сорец же можешь посмотреть
источник
22:35пожаловаться#19

S

Spirit💎 in Scrapy
izzz zzi
сорец же можешь посмотреть
да я чет не осилил его
источник
22:35пожаловаться#20