Size: a a a

2020 October 04

✏d

✏️ Oleksandr dntPani... in Scrapy
i
там браузер в респонсе видит json, видать браузер шибко вумный, реквестс же питоновый получает стандартный xml (внутри поля которого лежит json)
не, я накидал драфт в питоне и на второй запрос прислало джсон
источник

i

i in Scrapy
о, прикольно, а мне xml прислало
источник

i

i in Scrapy
там где в response браузера раньше был json
источник

i

i in Scrapy
вот, а вы говорите xmletree, а я оказывается универсальное решение нашел, сам того не зная (но это не факт)
источник

A

Andrii in Scrapy
i
вот, а вы говорите xmletree, а я оказывается универсальное решение нашел, сам того не зная (но это не факт)
И оно рабоает, еще раз спасибо за ето :)
источник

i

i in Scrapy
json тока на orjson смени!
источник

i

i in Scrapy
быстрей будет
источник

A

Andrii in Scrapy
Кстати, потом решил еще 2 сайта которьіе не работали))
источник

A

Andrii in Scrapy
i
json тока на orjson смени!
Да уже сделал, больше не нужно :)
источник

A

Andrii in Scrapy
А я регексом менял и офигивал)
источник

Marat Мkhitаrуаn in Scrapy
    def process_spider_exception(self, response, exception, spider):
       # Called when a spider or process_spider_input() method
       # (from other spider middleware) raises an exception.
       # Should return either None or an iterable of Request or item objects.
       if exception == IpBannedException:
           with Controller.from_port(port = 9051) as controller:
               controller.authenticate()
               controller.signal(Signal.NEWNYM)
               logging.warning("IP rotated")
               new_request = response.request.replace(dont_filter=True)
               logging.warning("retry request")
               yield new_request
               raise exceptions.IgnoreRequest
То что yieldит мидлварь запускается или просто игнорирует?
источник

AR

Andrey Rahmatullin in Scrapy
доку читал?
источник

AR

Andrey Rahmatullin in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
было б странно если игнорировалось
источник
2020 October 05

A

Andrii in Scrapy
Хелоу, как распарсить джейсонстрашер ? https://pastebin.com/yKWJAe3x
источник

AR

Andrey Rahmatullin in Scrapy
demjson попробуй
источник

AR

Andrey Rahmatullin in Scrapy
и какой-то ещё был для некорректного джсона
источник

A

Andrii in Scrapy
Andrey Rahmatullin
demjson попробуй
супер! Спасибо
источник

AR

Andrey Rahmatullin in Scrapy
помогло или не пробовал?
источник

A

Andrii in Scrapy
Andrey Rahmatullin
помогло или не пробовал?
помогло
источник