СК
ROTATING_PROXY_BACKOFF_CAP - это я так понимаю интервал за который не должно выйти суммарное время всех попыток использования данного заблокированного прокси-сервера?
Size: a a a
2020 November 21
AR
ты точно читал scrapy-rotating-proxies uses a randomized exponential backoff for these checks - first check happens soon, if it still fails then next check is delayed further, etc. Use ROTATING_PROXY_BACKOFF_BASE to adjust the initial delay (by default it is random, from 0 to 5 minutes). The randomized exponential backoff is capped by ROTATING_PROXY_BACKOFF_CAP. ?
СК
да. Я и пытаюсь уточнить, что я правильно понимаю прочитанное
AR
вряд ли
AR
каппед-то бэкофф, а не "суммарное время всех попыток"
СК
ROTATING_PROXY_BACKOFF_BASE - 0 0 до 5 минут это рандомное время за через которое пытается пройти через прокси сервер. А ROTATING_PROXY_BACKOFF_CAP - это максимальное суммарное время всех попыток
AR
нуок
СК
ну ок? В смысле я прав? или нет?
AR
нет
СК
так... А как же?
СК
Я просто читаю документацию и у меня складывается такое ощущение. Но что-то мне подсказывает, что я не прав. Сейчас очевидно придется вникать в исходники
AR
Переслано от Andrey Rahmatullin
если ты не знаешь что такое randomized exponential backoff - можешь почитать в википедии
2020 November 22
i
Приветствую! Помогите плиз, с проблемой. Посылаю запрос на https://healthshop.eu/?wc-ajax=get_variation&i18n-language=en с параметрами 'attribute_pa_ship-from': 'bw-uk', 'attribute_pa_label': 'us', 'product_id': '154740', 'custom_data': {"calc_shipping_country":"","quantity":"1" . Все как в инспекторе! Куки все выставлены правильно и идентично. Но цена в Postman отличается от цены в браузере. Может кто проверить. Благодарю
рекомендую написать кусок кода, чтобы народ мог вставить его в свою IDE "напоиграться". А так если кто-то этот сайт парсил или прям знакомый сильно случай.
у меня вот тоже сейчас проблема с логином на одном сайте, раньше удалось обойти передачей кукисов из селениума в скрапи, а сейчас поломалось, сначала походу придется написать подобный кусок кода и спросить у чатика рекомендации)
у меня вот тоже сейчас проблема с логином на одном сайте, раньше удалось обойти передачей кукисов из селениума в скрапи, а сейчас поломалось, сначала походу придется написать подобный кусок кода и спросить у чатика рекомендации)
К
Идите в @scrapy_jobs
В
Идите в @scrapy_jobs
👌
S
я бы наверное попробовал сделать дамп и посмотреть детально что происходит когда работаешь через прокси менеджер и когда без
пошёл путем переписывания всего на requests в которых таких проблем нет, так что исходя из этого проблема в скрапи или в том что я не понимаю как настроить его
S
Всем доброго вечера !
Методом проб и ошибок установил scrapy splash и вродебы всё работает , но не тут то было (((
ТАКОЙ ВОПРОС : spider переходит по ссылкам , но не по всем а только максимум 4 страницы . Как это можно исправить и в чем может быть причина ?
И как сделать так чтобы я мог тестировать response запросы через CMD но уже с поддержкой splash то есть чтобы подгружался весь код с JavaScript ?
Методом проб и ошибок установил scrapy splash и вродебы всё работает , но не тут то было (((
ТАКОЙ ВОПРОС : spider переходит по ссылкам , но не по всем а только максимум 4 страницы . Как это можно исправить и в чем может быть причина ?
И как сделать так чтобы я мог тестировать response запросы через CMD но уже с поддержкой splash то есть чтобы подгружался весь код с JavaScript ?
AR
делать запросы к сплешу
AR
что такое CMD не знаю
AR
не по всем ссылкам переходит потому что так логика написана