Ну и дешевле выходит когда берёшь под что-то конкретное

зачем делать этот позор))

Доброе утро. В чем моя ошибка? https://pastebin.com/5W6cdwEY

а в чём проблема?

после логина, нужно перейти на другую страницу

def parse_after_login(self, response):
        url = 'https://www.cutsweats.com/leaderboard'
        yield scrapy.Request(url=url, callback=self.parse_table)

куки включи

они же по дефолту он?

да

тогда вкл

ну или это https://github.com/scrapy/scrapy/issues/4717 :)

дебаг кук можно включить, чтобы посмотреть правильно или нет работает

без прокси юзаешь?

у меня в parse_after_login работает, а когда перехожу yield scrapy.Request(url=url, callback=self.parse_table), то parse_table уже без логина

прокси на уровне ОС

Ребята, чем вы убираете переносы строк и тэги?) ...я полжизни на Perl писал и мне привычно все делать регулярными выражениями. Но вдруг есть более быстрые (с точки зрения выполнения: нагрузки на цп, использования озу) варианты?)

Вижу, что переносы многие в питон убирают так: ' '.join( my_data.split() ) , но как-то громоздко ...и split все равно же, наверное re использует + временный массив создается в памяти ...имхо, sub(r'[\r\n\t]+', ' ') будет быстрее все же)

Тэги так: <[^>]+>

или можно сразу как то с

yield FormRequest.from_response(response, formdata={'csrf_token': csrf_token, 'username': '@gmail.com', 'password': 'password', 'reg_next': '/user/sign-in', 'next': '/'}, callback = self.parse_after_login

перейти на нужную мне страницу? тогда все будет ок :)

w3lib

переносы и пробелы можно регуляркой