Size: a a a

2020 January 24

C

Cyberdine Engineering🐤 in Scrapy
По идее это тоже самое что селениум
источник

E

Evgen in Scrapy
Cyberdine Engineering🐤
Кто то пробовал?
Я пробовал - отлично. Особенно если совместить с google cloud functions. Шлете из паука запрос на сервис, сервис рендерит, отлает отрендеренную страницу
источник

М

Мак in Scrapy
парни, кто recaptcha v.3 сталкивался?
источник

M

Maksim in Scrapy
Всем привет, столкнулся с такой проблемой.
Паршу сайт по логину и паролю и получаю результат в консоль. Как мне лучше всего реализовать сайт с таким же функционалом. Т.е. пользователь заходит на сайт, пишет логин + пароль и ему показывается ответ.
источник

M

Maksim in Scrapy
+ Нужно запоминать пользователя в базе, чтобы он каждый раз при заходе не писал логин и пароль
источник

МС

Михаил Синегубов in Scrapy
Куки....
Это по первому и второму вопросу
источник

M

Maksim in Scrapy
Использовать post запросы или что ?
источник

МС

Михаил Синегубов in Scrapy
Maksim
Использовать post запросы или что ?
В 99% случаев - да
источник

МС

Михаил Синегубов in Scrapy
Я про post
источник

i

ildar in Scrapy
Maksim
Всем привет, столкнулся с такой проблемой.
Паршу сайт по логину и паролю и получаю результат в консоль. Как мне лучше всего реализовать сайт с таким же функционалом. Т.е. пользователь заходит на сайт, пишет логин + пароль и ему показывается ответ.
почитай в faq про тему с copy as curl и конвертацией curl в питон
источник

i

ildar in Scrapy
сверху функционала еще можешь накатить session = requests.Session()
тогда после первого запроса дальнейшая обработка уже будет с кукисами в данном скрипте
источник

M

Maksim in Scrapy
ildar
сверху функционала еще можешь накатить session = requests.Session()
тогда после первого запроса дальнейшая обработка уже будет с кукисами в данном скрипте
Зачем мне requests если я хочу сделать сайт ?
источник

i

ildar in Scrapy
у тебя написано "паршу сайт по логину"
источник

i

ildar in Scrapy
в группе по парсингу. но оказывается ты спрашивал как написать сайт?
источник

i

ildar in Scrapy
а, ну да, я просто не внимательно прочитал вторую часть вопроса, лол
источник

i

ildar in Scrapy
Maksim
Зачем мне requests если я хочу сделать сайт ?
рекомендую использовать django или flask, там это "искаропки"
источник

E

Evgen in Scrapy
Мак
парни, кто recaptcha v.3 сталкивался?
Я
источник

М

Мак in Scrapy
каким сервисом решал?
источник

E

Evgen in Scrapy
2captcha либо можно используя pyppeteer отрендерить. Он вроде 70% дает
источник

М

Мак in Scrapy
То есть рекапча3 это что то типа клаудфлера что ли теперь? JS решаемый браузером на ходу. Хотя, хром выдаёт какой то текст в окне, а мозила автоматически капчу проходит
источник