всем привет, подскажите как сделать базову авторизацию через форму в scrapy?
Пытаюсь через formRequest
https://dpaste.org/OsEg

в итоге на урл с логином получаю ответ 400

Конечная цель такова: авторизоваться, спарсить все урлы на страницах, и записать в json или csv

"HTTP 400 Bad Request указывает, что сервер не смог понять запрос из-за недействительного синтаксиса. Клиент не должен повторять этот запрос без изменений"

Смотри что браузер шлёт

request headers?

В целом.

Но для начала урл, метод и тело, хедеры рано пока смотреть

LoginForm[username]: 
LoginForm[password]: 
LoginForm[rememberMe]: 0
LoginForm[rememberMe]: 1
login-button: 

это form-data

вот уже лучше

шлю вот-так

 def start_requests(self):
        return [
            FormRequest(
                # headers={
                #     'content-type': 'text/html; charset=UTF-8'
                # },
                url='https://som-url.com/login',
                formdata={
                    'LoginForm[username]': 'admin',
                    'LoginForm[password]': 'admin'
                },
                callback=self.after_login
            )
        ]

и?

и получаю

2020-09-07 21:03:51 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://som-url.com/robots.txt> (referer: None)
2020-09-07 21:03:51 [scrapy.core.engine] DEBUG: Crawled (400) <POST https://som-url.com/login> (referer: None)
2020-09-07 21:03:51 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <400 https://som-url.com/login>: HTTP status code is not handled or not allowed

хорошо, мой первый совет всё ещё в силе

раз уж мы по кругу ходим

ну с урлом и методом все впорядке)

с веб-морды логинится

Или я недостаточно в передает в form-data?

Прочитай что ошибка значит. Ты шлешь не то, что нужно

ну раз так то чини поля

у тебя есть возможность сравнить самому

Вы правы)) _csrf требовало