Телеграмм чат группы scrapy

Привет! как ограничить скорость паука поставил CONCURRENT_REQUESTS = 1, DOWNLOAD_DELAY = 5, CONCURRENT_REQUESTS_PER_DOMAIN = 1
CONCURRENT_REQUESTS_PER_IP = 1 но он по прежнему поливает как из пулемета.

источник

17:36пожаловаться #8

i

i in Scrapy

а цифра эта 59 каким-нить response.css('.price-prod-now>span::text').get()

источник

17:36пожаловаться #9

i

i in Scrapy

Sergey

Привет! как ограничить скорость паука поставил CONCURRENT_REQUESTS = 1, DOWNLOAD_DELAY = 5, CONCURRENT_REQUESTS_PER_DOMAIN = 1
CONCURRENT_REQUESTS_PER_IP = 1 но он по прежнему поливает как из пулемета.

ты используешь какие-нибудь мидлвари типа прокси ротатора?

источник

17:38пожаловаться #10

A

Andrii in Scrapy

S

Заменил , к сожалению результат тот же , опять callback

https://pastebin.com/egkM9qEi

Pastebin

import scrapy# from ..items import MaxiAzItemclass MaxiazbotSpider(scrap - Pastebin.com

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

источник

17:38пожаловаться #11

AR

Andrey Rahmatullin in Scrapy

Sergey

Привет! как ограничить скорость паука поставил CONCURRENT_REQUESTS = 1, DOWNLOAD_DELAY = 5, CONCURRENT_REQUESTS_PER_DOMAIN = 1
CONCURRENT_REQUESTS_PER_IP = 1 но он по прежнему поливает как из пулемета.

из пулемета это сколько?

источник

17:39пожаловаться #12

AR

Andrey Rahmatullin in Scrapy

и проверь что настройки считались

источник

17:39пожаловаться #13

SS

Stepan Smirnov in Scrapy

Sergey

Привет! как ограничить скорость паука поставил CONCURRENT_REQUESTS = 1, DOWNLOAD_DELAY = 5, CONCURRENT_REQUESTS_PER_DOMAIN = 1
CONCURRENT_REQUESTS_PER_IP = 1 но он по прежнему поливает как из пулемета.

может вы кэш включили и по уже сохраненным страницам проходитесь?

источник

17:40пожаловаться #14

AR

Andrey Rahmatullin in Scrapy

(это можно увидеть в логе)

источник

17:41пожаловаться #15

i

i in Scrapy

Andrii

https://pastebin.com/egkM9qEi

Pastebin

import scrapy# from ..items import MaxiAzItemclass MaxiazbotSpider(scrap - Pastebin.com

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

что символизирует твой цикл for там?

источник

17:43пожаловаться #16

A

Andrii in Scrapy

i

что символизирует твой цикл for там?

да не мое оно, поставил человеку таб. Больше он ничего не просил

источник

17:44пожаловаться #17

i

i in Scrapy

а, сорян)

источник

17:44пожаловаться #18

i

i in Scrapy

S

По поводу отступов ? Пробовал все возможные варианты

короче я не понял зачем там цикл for, после scrapy shell "https://maxi.az/telefonlar-ve-plansetler/smart-saat-ve-aksesuarlar/smart-saat/xiaomi-mi-band-4-black/"
можно в первом приближении получить название и цену товара так:

maxi.az

Fitnes-qolbaq Xiaomi Mi Band 4 Black Bakıda almaq - MAXI.AZ

Fitnes-qolbaq Xiaomi Mi Band 4 Black məhsulu 59 AZN qiymətinə kreditlə al. Bakı üzrə çatdırılma (pulsuz), Azərbaycan üzrə 2 iş günü ərzində. Tel.: *0900 (həftənin yeddi günü 9:00-dan 21:00-a dək)

источник

17:45пожаловаться #19

i

i in Scrapy

https://i.imgur.com/MLu58aT.png

источник

17:45пожаловаться #20