Уточните насчет cookies пожалуйста.
При стандартных настройках scrapy - приложение использует только один cookiejarkey.
т.е. какой session-id приложение получит через cookies с первым ответом (и первым исп. proxy-ip) - такой же session-id он пошлет потом с других proxy-ip.
Если сайт получает запросы с разных ip и у всех запросов один и тот же session-id - это само по себе выглядит подозрительно и этих данных уже достаточно, чтобы забанить все используемые proxy-ip.Или нет?

верно

в Crawlera для этого есть внутренний менеджмент кук и сессии, а если ротировать прокси руками, то и куки руками

Хелоу, в чем проблема: делаю пост реквест (логин на сайт) через постман - работает, експортирую код в пайтон реквестс - нет

недавно столкнулся с tls

что за сайт?

не работало с tls 1.3

ну и во скрапи тож не работает...жду 2.4 версию, может там исправлят)

что именно нужно собрать?

Добрый день.

# Как обратиться только к <p data-lnk...  чтобы получить b'aHR0cDovL3d3dy5oeXBlcmF1dG8ucnU= название сайта в кодировке

попробуй поменять find_all на select('p[data-lnk]')

ну не про патчинг кедов же спрашивать

@trefto  получилось!!! Супер!!! гран мерси!!!

да нужно профили собрать, но они только после логина доступно, а логин не работает, тоесть 50\50 уже

Ребят кто шарит https://qna.habr.com/q/281450
Первый ответ про менеджер контекста with, с try finally все понятно как это сделать, но как в контексте данного вопроса прикрутить туда with

Как должен выглядеть код

для этого можно использовать https://docs.scrapy.org/en/latest/topics/signals.html#scrapy.signals.spider_closed