Size: a a a

2020 February 12

AR

Andrey Rahmatullin in Scrapy
тогда решения выше не подойдут
источник

Y

Yurii in Scrapy
Ну всмысле заведомо известно как будут колонки меняться. Вообще там еще и xls формат надо. Загружу в пандас и перекомпоную и сохраню в xls)
источник

AR

Andrey Rahmatullin in Scrapy
дак просто написать кастомный экспортер и там крутить
источник

Y

Yurii in Scrapy
так точно
источник

МС

Михаил Синегубов in Scrapy
Yurii
Ну всмысле заведомо известно как будут колонки меняться. Вообще там еще и xls формат надо. Загружу в пандас и перекомпоную и сохраню в xls)
https://pypi.org/project/scrapy-xlsx/

вдруг подойдет и избавит от лишнего гемора....
источник

Y

Yurii in Scrapy
Михаил Синегубов
https://pypi.org/project/scrapy-xlsx/

вдруг подойдет и избавит от лишнего гемора....
Вообще прикольная тема, спасибо пригодится думаю)
источник

МС

Михаил Синегубов in Scrapy
Yurii
Вообще прикольная тема, спасибо пригодится думаю)
ну, дык, гугль рулит 😂
источник

Y

Yurii in Scrapy
Михаил Синегубов
ну, дык, гугль рулит 😂
Да, надо юзать только уметь)
источник

EB

Elisei Badanin in Scrapy
кто знает как парсить https://www.torgi.gov.ru/lotSearchArchive.html (на юэкенде что-то из ява мира), даже копируя запрос через дев тулс, его не получается воспроизвести, в ответ получаю <ajax-response><redirect><![CDATA[index.html]]></redirect></ajax-response>
источник

AR

Andrey Rahmatullin in Scrapy
copy as cURL работает нормально
источник

EB

Elisei Badanin in Scrapy
тоже так думал, но оказалось, что нет
источник

AR

Andrey Rahmatullin in Scrapy
при чём тут думал
источник

AR

Andrey Rahmatullin in Scrapy
я скопировал, выполнил, получил результат
источник

EB

Elisei Badanin in Scrapy
источник

EB

Elisei Badanin in Scrapy
Replay XHR в браузере работает нормально
источник

AR

Andrey Rahmatullin in Scrapy
у меня урл другой
источник

AR

Andrey Rahmatullin in Scrapy
но я просто искать нажал на главной странице
источник

EB

Elisei Badanin in Scrapy
Этот на пагинация
источник

AR

Andrey Rahmatullin in Scrapy
и у меня в урле jsessionid, а в этом нет
источник

М

Мак in Scrapy
кто нибудь знает, либа scrapy-puppeteer через прокси работает?
источник