К
Size: a a a
2020 September 24
К
Ты никак это не решишь в данном случае, чтоб это можно было сделать, тебе нужно чтоб with был в одной области с кодом. Т.е. если ты окрываешь коннект в ините, ты никак этого не сможешь сделать. Чтоб сработало, тогда нужно открывать коннект до паука, и передавать его через инит уже открытым
К
А вообще по грабу это в другой чат https://t.me/grablab_ru
2020 September 25
AA
Доброго времени суток всем.
Есть вопрос. недавно столкнулся со скрапи.
https://pastebin.com/PJHXEeK5
Образец кода выложил в общий доступ.
Могу ли я передать экземпляр класса Item'a в другую функцию и дополнить его в другой функции содержимым?
Есть вопрос. недавно столкнулся со скрапи.
https://pastebin.com/PJHXEeK5
Образец кода выложил в общий доступ.
Могу ли я передать экземпляр класса Item'a в другую функцию и дополнить его в другой функции содержимым?
AA
И ещё хотел спросить, нигде не могу найти как по-человечески передать параметры. В requests для этого используется params, а тут?
B
И ещё хотел спросить, нигде не могу найти как по-человечески передать параметры. В requests для этого используется params, а тут?
Передать можно через params в formrequest и метод гет. Передача как в requests в процессе https://github.com/scrapy/scrapy/pull/4730 но не знаю, одобрят или нет меинтейнеры.
B
Доброго времени суток всем.
Есть вопрос. недавно столкнулся со скрапи.
https://pastebin.com/PJHXEeK5
Образец кода выложил в общий доступ.
Могу ли я передать экземпляр класса Item'a в другую функцию и дополнить его в другой функции содержимым?
Есть вопрос. недавно столкнулся со скрапи.
https://pastebin.com/PJHXEeK5
Образец кода выложил в общий доступ.
Могу ли я передать экземпляр класса Item'a в другую функцию и дополнить его в другой функции содержимым?
Да, через meta. В новых версиях через cb_kwargs вроде как.
✏d
скажите, что за беда может быть
[rotating_proxies.middlewares] INFO: Proxies(good: 0, dead: 0, unchecked: 5, reanimated: 0, mean backoff time: 0s)
и так до бесконечности, хотя прокси рабочие
[rotating_proxies.middlewares] INFO: Proxies(good: 0, dead: 0, unchecked: 5, reanimated: 0, mean backoff time: 0s)
и так до бесконечности, хотя прокси рабочие
К
скажите, что за беда может быть
[rotating_proxies.middlewares] INFO: Proxies(good: 0, dead: 0, unchecked: 5, reanimated: 0, mean backoff time: 0s)
и так до бесконечности, хотя прокси рабочие
[rotating_proxies.middlewares] INFO: Proxies(good: 0, dead: 0, unchecked: 5, reanimated: 0, mean backoff time: 0s)
и так до бесконечности, хотя прокси рабочие
ты подключил BanDetectionMiddleware?
✏d
ты подключил BanDetectionMiddleware?
нет, но прокся новая, только купленая
✏d
я подключаю через джанго - пишу в бд, а ротайтинг должен читать
✏d
и да
✏d
ну да