Size: a a a

2020 January 17

ЕJ

Евгений Jen in Scrapy
+ задумка была еще парсить не только крупные сайты
источник

ЕJ

Евгений Jen in Scrapy
а так да, агрегатор на агригаторе)
источник

V

Victor in Scrapy
Какие прокси используете народ?
источник

МС

Михаил Синегубов in Scrapy
Victor
Какие прокси используете народ?
платные.... а дельше, в записимости от сайта
источник

M

Maksim in Scrapy
Всем привет, у меня такая проблема:

Делаю парсер с авторизацией на сайт, посылаю пост запрос с нужным payload (из post запроса сайта), но сайт отдаёт "Доступ запрещён. 403 ошибка" Как это можно исправить ?
источник

M

Maksim in Scrapy
s.post('https://somesite.com', data = payload)

payload = {
 'csrfmiddlewaretoken': csrf,
 'username': login,
 'password': password
}
источник

B

Bulatbulat48 in Scrapy
Maksim
Всем привет, у меня такая проблема:

Делаю парсер с авторизацией на сайт, посылаю пост запрос с нужным payload (из post запроса сайта), но сайт отдаёт "Доступ запрещён. 403 ошибка" Как это можно исправить ?
на сайте точно не form request?
источник

M

Maksim in Scrapy
Bulatbulat48
на сайте точно не form request?
источник

M

Maksim in Scrapy
Нужно, наверное, headers какие-то передавать ещё, но я хз какие
источник

B

Bulatbulat48 in Scrapy
Bulatbulat48
Payload - Json.dumps, Form data - urlencoded
посмотри вот это
источник

M

Maksim in Scrapy
Bulatbulat48
посмотри вот это
Как понять ?
источник

M

Maksim in Scrapy
data =  json.dumps(payload)
источник

M

Maksim in Scrapy
если это, то оно не работает
источник

АП

Агент Печенька in Scrapy
Ты шлешь не то, форм дата это urlencoded а не json.dumps.
источник

M

Maksim in Scrapy
Как это сделать ?
источник

B

Bulatbulat48 in Scrapy
Maksim
Как это сделать ?
либа requests ?
источник

M

Maksim in Scrapy
da
источник

B

Bulatbulat48 in Scrapy
requests.post(‘url, files=payload) попробуй так
источник

M

Maksim in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
запутали человека
источник