Size: a a a

2019 December 16

AB

Alexander B in Scrapy
Михаил Синегубов
а можно увидеть начальный урл?
ответил в лс
источник

AB

Alexander B in Scrapy
пока пробовал delay, юзерагент и куки, безрезультатно
источник

AR

Andrey Rahmatullin in Scrapy
ну значит прокси
источник

AB

Alexander B in Scrapy
ок, спасибо, поразбираюсь
источник

К

Кирилл in Scrapy
Кто за последнее время с cloudflare работал? Уже второй сайт прогоняю через cfscrape, который раньше безотказно работал и он ничего не может сделать
источник

E

Evgen in Scrapy
Смотрите чо там за скрипт во первых. Во вторых самый норм вариант - рендерите эту страницу в headless браузере. Сплэш пойдет
источник

К

Кирилл in Scrapy
Конкретно последний сайт с капча челенжом, но cfscrape раньше в таком случае просто падал с ошибкой, что он не умеет решать капчи. Перед этим был сайт с js челенжом, там решение давал, но ничего не происходило потом
источник

К

Кирилл in Scrapy
а, нашел issues, 20 дней назад началось, было обновление
источник
2019 December 17

Ф

ФСБ in Scrapy
ребят, юзает ещё кто-то urllib? Просто читаю книгу по скрапингу и там работа с этой либой, хотя есть ведь вариант попроще, тот же requests к примеру, если напрямую вызывать
источник

Ф

ФСБ in Scrapy
что скажете?
источник

Ф

ФСБ in Scrapy
или всё такие важно его знать
источник

К

Кирилл in Scrapy
requests использует urllib
источник

Ф

ФСБ in Scrapy
источник

Ф

ФСБ in Scrapy
орнул)
источник

AS

Alexander Serebrov in Scrapy
в urllib.parse всякие прикольные утилиты есть: https://docs.python.org/3/library/urllib.parse.html
источник

Ф

ФСБ in Scrapy
Кирилл
requests использует urllib
да, но там всё более понятно
источник

Ф

ФСБ in Scrapy
вот и думаю, стоит изучать его или всё таки применять requests
источник

AS

Alexander Serebrov in Scrapy
посмотреть стоит, но лучше применить requests :)
источник

Ф

ФСБ in Scrapy
спасибо за совет :))
источник

К

Кирилл in Scrapy
ФСБ
вот и думаю, стоит изучать его или всё таки применять requests
Стоит изучить что такое уровни абстракции
источник