Да, ты прав, недосмотрел. Падает на втором запросе, там уже пост запрос идет и концовка немного меняется блин, а я и забыл что страрт урл от последующих немного отличается.

конечно прав

что такое Scrapy?

А вдруг чудо произошло)

народ подскажите, может есть какая удобная приблуда... запросы и куки постманом перехватываю, но хотелось бы как то сравнивать куки от запроса к запросу на предмет изменений в них

https://stackoverflow.com/questions/28890386/check-python-requests-with-charles-proxy-for-https
сам еще не добирался посмотреть. Не было такой насущной необходимости

это MITM что ли...

конкретно по ссылке, чарлик
если "mitm" имеллось в виду "проксирующий снифер", то да, оно и есть.

а как еще ты хочешь за куками следить? или ты хотел в скрапи отслеживать?

не, до скрапи тут еще надо понять как запрос правильно составлять. есть подозрение что в какой то куке проходит команда на бан. вот хочу поймать, где это

в куке комманду на бан никто не пересылает :), а вот слать сессию и смотреть как часто она запрашивает страничку - можно :)

ну не впрямую команда на бан конечно, тут просто для получения конечной информации надо сделать череду гет-пост запросов

соответственно у меня желание подредактировать куки в правильную сторону

у тебя именно бан прилетает или просто не получается получить инфу?
как вариант, могут ограничивать частоту запросов с одного IP

да, вариант ограничения по ИП самый очевидный конечно... но что интересно, браузер нормально доходит до целевой страницы. А отправляю запросы через постман - несколько раз нормально, а потом бан.

собери в снифер (только именно в снифер, через панель разработчика такое смотреть - еще то извращение) несколько проходов в браузере до конечной точки.
в идеале, записать экшен какой автоматизацией, что бы максимально быстро было. Может и в браузере бан словишь. Если нет - то кури что и как происходит, может у тебя какого доп. параметра не хватает.

ну я так и сделал. постман интерцептор записал все запросы и сохранил куки при проходе браузером до целевой точки. запускаю повтор запросов постманом с сохраненными куками - несколько раз проходит нормально, потом ловит бан. я подумал что срок валидности каких то куков закончился. прохожу опять браузером - все нормально проходится. в это время записываю новую сессию постманом с новыми куками. запускаю повтор запросов постманом с новой сессии - бан.... вот и думаю, в какую сторону то курить уже...

нееее, ты не постманом повторы сделай, а браузером.
если ты на скорости в браузере словишь бан - тогда, скорее всего, пичаль/точка

я предлагаю тебе сделать проверку именно на частоту запросов