Телеграмм чат группы scrapy

Ну мне нужно перестать посылать запросы в этот момент из колбэка, и никакой индикации, что прокси поменялся я не получу. В ответ на мой запрос о смене я моментально получаю "ок", а сама смена происходит через Х секунд

Не утверждаю что этот вариант ("подкрутить" scrapy.downloader) правильный, но он вполне рабочий:
https://github.com/scrapy/scrapy/issues/802#issuecomment-500245345

GitHub

Per request delay · Issue #802 · scrapy/scrapy

Sometimes I feel like scrapy is missing per request delays. Any reasons why they weren't implemented? Where can per request delays be used: to add exponential backoff for the retry request ...

источник

00:26пожаловаться #11

Ruslan aka DUDE in Scrapy

@wrar42 Andrii @SmirnovStepan благодарю за помощь!
w3lib - да, нормально, работает, но по селекторам не умеет вроде
Html2text - чтото не то но как я понял, там можно автоматом скипнуть например картинки и другие частые теги
lxml - то что надо, по селекторам, получилось

источник

00:32пожаловаться #12

Ruslan aka DUDE in Scrapy

Bulatbulat48

Hooray! У нас открылся FAQ давайте его заполним лучшими практиками: https://github.com/bulatbulat48/ru-scrapy-python/blob/master/README.md

GitHub

bulatbulat48/ru-scrapy-python

Scrapy: В этом репозитории находится полезная информация, собранная участниками telegram чата @scrapy_python - bulatbulat48/ru-scrapy-python

> Использовать css селекторы чтобы избежать пробелов в названии при использовании @class в xpath

о каких пробелах идет речь?

источник

00:37пожаловаться #13

Andrey Rahmatullin in Scrapy

о разделителях имён классов

источник

00:38пожаловаться #14

Ruslan aka DUDE in Scrapy

так там вроде tag[@class="cls1"][@class="cls2"][@class="cls3"]

источник

00:38пожаловаться #15

Andrey Rahmatullin in Scrapy

лол нет

источник

00:39пожаловаться #16

Ruslan aka DUDE in Scrapy

Andrey Rahmatullin

лол нет

действительно, глянул, там чтото монструзное

.//*[contains(concat(" ",normalize-space(@class)," ")," cls1 ")][contains(concat(" ",normalize-space(@class)," ")," cls2 ")][contains(concat(" ",normalize-space(@class)," ")," cls3 ")]

источник

00:45пожаловаться #17

Andrey Rahmatullin in Scrapy

Да, иначе никак

источник

00:45пожаловаться #18

Ruslan aka DUDE in Scrapy

я кстати перешел на scrapy не потомучто он круче
а потомучто bs4 подвел
он съедает данные (исчезают блоки тегов) если страница немного не валидная
тогда как хром нормально справляется с ней

источник

00:48пожаловаться #19

Ruslan aka DUDE in Scrapy

до этого не видел вариантов кроме css селекторов и косо смотрел на xpath но пощупав его, не могу без него теперь)) удобно))

источник

00:49пожаловаться #20