Телеграмм чат группы scrapy

И я другой модуль пробовал

13:40пожаловаться #1

Ни 300, ни 450 не помогают

13:40пожаловаться #2

TeamHG-Memex/scrapy-rotating-proxies

мы про это говорим https://github.com/TeamHG-Memex/scrapy-rotating-proxies?

GitHub

use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.

13:40пожаловаться #3

Утекают до 500 коннектов, ОС показывает

да

сколько у тебя прокси?

13:40пожаловаться #6

TeamHG-Memex/scrapy-rotating-proxies

https://github.com/TeamHG-Memex/scrapy-rotating-proxies#concurrency вот написано

GitHub

use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.

13:41пожаловаться #7

250, динамически меняющихся

13:41пожаловаться #8

получается пер айпи = 2,

13:41пожаловаться #9

иначе будет больеш 500

13:42пожаловаться #10

+, этот пакет, не лучший выбор если большое количество прокси, оно там на рандоме начинает их перебирать, пока не неайдет свободную прокси

13:42пожаловаться #11

CONCURRENT_REQUESTS = 350
CONCURRENT_REQUESTS_PER_IP = 2

13:42пожаловаться #12

2 коннекта стало

13:43пожаловаться #13

Утекает до 8

13:43пожаловаться #14

Провайдер вообще до 25 показывает

13:43пожаловаться #15

Но среднее до 8

13:43пожаловаться #16

izzz zzi in Scrapy

Кирилл

Какой лучше взять ?

13:43пожаловаться #17

Ладно, спасибо, попробую поподбирать просто

13:44пожаловаться #18

Может что получится

13:44пожаловаться #19

izzz zzi

Какой лучше взять ?

Это самый адекватный.. хоть и с некоторыми недостатками, остальные еще хуже)