Size: a a a

2020 February 11

М

Мак in Scrapy
Михаил Синегубов
я предлагаю тебе сделать проверку именно на частоту запросов
так я про это и говорю! когда постман ловит бан - сразу же проверяю проход браузером (предварительно почистив куки) - и все нормально. то есть по ИП бана еще нет
источник

МС

Михаил Синегубов in Scrapy
ок. супер.
а ты понял как и в какой момент куки в браузере меняются?
тут до запросов как до китая ползком... может какая ява меняет куки, может доп. запрос (как в поиске ключей яндекса) куку ставит... как ты поймешь это без анализа того, что шлет браузер.
и как ты поймешь, что браузер не ловит бан. Если ты страничку, наверняка, дергаешь через несколько секунд после блока (как я понимаю, у тебя не бан а блок).
источник

М

Мак in Scrapy
Михаил Синегубов
ок. супер.
а ты понял как и в какой момент куки в браузере меняются?
тут до запросов как до китая ползком... может какая ява меняет куки, может доп. запрос (как в поиске ключей яндекса) куку ставит... как ты поймешь это без анализа того, что шлет браузер.
и как ты поймешь, что браузер не ловит бан. Если ты страничку, наверняка, дергаешь через несколько секунд после блока (как я понимаю, у тебя не бан а блок).
вот я и спрашиваю, чем бы мне изменения в куках отследить))) догнать до бана и посмотреть что в них изменилось. да, блок на время, не бан. доп запросы я все отследил и провожу их в той же последовательности. куки записаны все, который получает браузер
источник

МС

Михаил Синегубов in Scrapy
Мак
вот я и спрашиваю, чем бы мне изменения в куках отследить))) догнать до бана и посмотреть что в них изменилось. да, блок на время, не бан. доп запросы я все отследил и провожу их в той же последовательности. куки записаны все, который получает браузер
снифай что браузер делает
источник

М

Мак in Scrapy
чем это лучше делать? чарли что то не очень...
источник

М

Мак in Scrapy
постман вроде всё записывает, и куки, и все запросы... но видать что то все таки не доделывает
источник

МС

Михаил Синегубов in Scrapy
Мак
постман вроде всё записывает, и куки, и все запросы... но видать что то все таки не доделывает
постмал может работать с теми же куками что и реквесты. Но не более, если у тебя странича сделает какое другое телодвижение - постман сам его не сделает.

а чем лучше смотреть - на вкус и цвет фломастеры разные...
источник

МС

Михаил Синегубов in Scrapy
некторые от wireshark тащятся... :)
источник

RC

Ruslan Chernenko in Scrapy
Мак
народ подскажите, может есть какая удобная приблуда... запросы и куки постманом перехватываю, но хотелось бы как то сравнивать куки от запроса к запросу на предмет изменений в них
вариант который первый пришел в голову:
селениум-дамп-кук с помощью модуля, уже не помню какого
источник

RC

Ruslan Chernenko in Scrapy
а там уже играться как хочешь
источник

М

Мак in Scrapy
Я нашёл какие куки влияют. Одна выдаётся сервером при посещении страницы, а другая генерится браузером. Хватает их где то на десяток запросов. Потом необходима новая пара. И если первую можно получить от сервера, просто заново зайдя на страницу, то в случае со второй дело за малым - найти скрипт который её лабает, деобфусцировать, написать на питоне и самому генерить вторую куку😂
источник

AR

Andrey Rahmatullin in Scrapy
или папетир
источник

М

Мак in Scrapy
Ну да, либо использовать селениум-подобные решения.
источник

МС

Михаил Синегубов in Scrapy
Мак
Я нашёл какие куки влияют. Одна выдаётся сервером при посещении страницы, а другая генерится браузером. Хватает их где то на десяток запросов. Потом необходима новая пара. И если первую можно получить от сервера, просто заново зайдя на страницу, то в случае со второй дело за малым - найти скрипт который её лабает, деобфусцировать, написать на питоне и самому генерить вторую куку😂
ты сначала найди :), может там все не так страшно:)
тот же яндекс вордстат, как оказалось, все легко и просто.
источник

М

Мак in Scrapy
Михаил Синегубов
ты сначала найди :), может там все не так страшно:)
тот же яндекс вордстат, как оказалось, все легко и просто.
Что найти?
источник

МС

Михаил Синегубов in Scrapy
"найти скрипт который её лабает"
источник

М

Мак in Scrapy
Михаил Синегубов
"найти скрипт который её лабает"
С этим пока вопрос... Толком пока не понял как это сделать
источник

МС

Михаил Синегубов in Scrapy
Ну, в чарлике я бы задал поиск имени куки в респонс бади
источник

М

Мак in Scrapy
С Чарли я что то не разобрался сходу... Даже не нашёл где там куки то вообще, с привязкой к запросу
источник

МС

Михаил Синегубов in Scrapy
Ну, я тебе пинцип сказал
источник