Size: a a a

2019 October 24

iz

izzz zzi in Scrapy
источник

iz

izzz zzi in Scrapy
Нужно свой сделать
источник

К

Кирилл in Scrapy
конкретно про рандом, ты мне сам скидывал альтернативу, где нормальный перебор
источник

К

Кирилл in Scrapy
источник

iz

izzz zzi in Scrapy
Ну я его и использую )
источник

К

Кирилл in Scrapy
нужно сделать нормальную очередь, куда будут становиться свободные прокси, а не стрелять рандомом на список 200+
источник

К

Кирилл in Scrapy
если их будет больше 1к, то вообще ппц
источник

iz

izzz zzi in Scrapy
Кирилл
нужно сделать нормальную очередь, куда будут становиться свободные прокси, а не стрелять рандомом на список 200+
Ну просто очередь мало
источник

iz

izzz zzi in Scrapy
Нужно по хорошему в фоне чекать
источник

iz

izzz zzi in Scrapy
Доступность
источник

К

Кирилл in Scrapy
почему
источник

К

Кирилл in Scrapy
редис прикрутить
источник

iz

izzz zzi in Scrapy
Что бы в очереди только валид был
источник

iz

izzz zzi in Scrapy
Кирилл
редис прикрутить
Тогда озу будет жрать
источник

К

Кирилл in Scrapy
а так не жрет что ли?)
источник

iz

izzz zzi in Scrapy
Ну так меньше )
источник

К

Кирилл in Scrapy
если ты про пакет с монгой, то да
источник

iz

izzz zzi in Scrapy
Конкретно мне нужно максимально бюджетных пауков делать
источник

К

Кирилл in Scrapy
а если про рандомный то одинаково в ОЗУ
источник

iz

izzz zzi in Scrapy
Кирилл
а если про рандомный то одинаково в ОЗУ
Я про редис и очередь
источник