В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

391 membersпожаловаться на группу
2020 February 11

М

Мак in Scrapy
Михаил Синегубов
я предлагаю тебе сделать проверку именно на частоту запросов
так я про это и говорю! когда постман ловит бан - сразу же проверяю проход браузером (предварительно почистив куки) - и все нормально. то есть по ИП бана еще нет
источник
10:12пожаловаться#1

МС

Михаил Синегубов in Scrapy
ок. супер.
а ты понял как и в какой момент куки в браузере меняются?
тут до запросов как до китая ползком... может какая ява меняет куки, может доп. запрос (как в поиске ключей яндекса) куку ставит... как ты поймешь это без анализа того, что шлет браузер.
и как ты поймешь, что браузер не ловит бан. Если ты страничку, наверняка, дергаешь через несколько секунд после блока (как я понимаю, у тебя не бан а блок).
источник
10:16пожаловаться#2

М

Мак in Scrapy
Михаил Синегубов
ок. супер.
а ты понял как и в какой момент куки в браузере меняются?
тут до запросов как до китая ползком... может какая ява меняет куки, может доп. запрос (как в поиске ключей яндекса) куку ставит... как ты поймешь это без анализа того, что шлет браузер.
и как ты поймешь, что браузер не ловит бан. Если ты страничку, наверняка, дергаешь через несколько секунд после блока (как я понимаю, у тебя не бан а блок).
вот я и спрашиваю, чем бы мне изменения в куках отследить))) догнать до бана и посмотреть что в них изменилось. да, блок на время, не бан. доп запросы я все отследил и провожу их в той же последовательности. куки записаны все, который получает браузер
источник
10:20пожаловаться#3

МС

Михаил Синегубов in Scrapy
Мак
вот я и спрашиваю, чем бы мне изменения в куках отследить))) догнать до бана и посмотреть что в них изменилось. да, блок на время, не бан. доп запросы я все отследил и провожу их в той же последовательности. куки записаны все, который получает браузер
снифай что браузер делает
источник
10:20пожаловаться#4

М

Мак in Scrapy
чем это лучше делать? чарли что то не очень...
источник
10:21пожаловаться#5

М

Мак in Scrapy
постман вроде всё записывает, и куки, и все запросы... но видать что то все таки не доделывает
источник
10:21пожаловаться#6

МС

Михаил Синегубов in Scrapy
Мак
постман вроде всё записывает, и куки, и все запросы... но видать что то все таки не доделывает
постмал может работать с теми же куками что и реквесты. Но не более, если у тебя странича сделает какое другое телодвижение - постман сам его не сделает.

а чем лучше смотреть - на вкус и цвет фломастеры разные...
источник
10:33пожаловаться#7

МС

Михаил Синегубов in Scrapy
некторые от wireshark тащятся... :)
источник
10:34пожаловаться#8

RC

Ruslan Chernenko in Scrapy
Мак
народ подскажите, может есть какая удобная приблуда... запросы и куки постманом перехватываю, но хотелось бы как то сравнивать куки от запроса к запросу на предмет изменений в них
вариант который первый пришел в голову:
селениум-дамп-кук с помощью модуля, уже не помню какого
источник
14:57пожаловаться#9

RC

Ruslan Chernenko in Scrapy
а там уже играться как хочешь
источник
14:57пожаловаться#10

М

Мак in Scrapy
Я нашёл какие куки влияют. Одна выдаётся сервером при посещении страницы, а другая генерится браузером. Хватает их где то на десяток запросов. Потом необходима новая пара. И если первую можно получить от сервера, просто заново зайдя на страницу, то в случае со второй дело за малым - найти скрипт который её лабает, деобфусцировать, написать на питоне и самому генерить вторую куку😂
источник
15:03пожаловаться#11

AR

Andrey Rahmatullin in Scrapy
или папетир
источник
15:03пожаловаться#12

М

Мак in Scrapy
Ну да, либо использовать селениум-подобные решения.
источник
15:04пожаловаться#13

МС

Михаил Синегубов in Scrapy
Мак
Я нашёл какие куки влияют. Одна выдаётся сервером при посещении страницы, а другая генерится браузером. Хватает их где то на десяток запросов. Потом необходима новая пара. И если первую можно получить от сервера, просто заново зайдя на страницу, то в случае со второй дело за малым - найти скрипт который её лабает, деобфусцировать, написать на питоне и самому генерить вторую куку😂
ты сначала найди :), может там все не так страшно:)
тот же яндекс вордстат, как оказалось, все легко и просто.
источник
15:05пожаловаться#14

М

Мак in Scrapy
Михаил Синегубов
ты сначала найди :), может там все не так страшно:)
тот же яндекс вордстат, как оказалось, все легко и просто.
Что найти?
источник
15:06пожаловаться#15

МС

Михаил Синегубов in Scrapy
"найти скрипт который её лабает"
источник
15:06пожаловаться#16

М

Мак in Scrapy
Михаил Синегубов
"найти скрипт который её лабает"
С этим пока вопрос... Толком пока не понял как это сделать
источник
15:08пожаловаться#17

МС

Михаил Синегубов in Scrapy
Ну, в чарлике я бы задал поиск имени куки в респонс бади
источник
15:09пожаловаться#18

М

Мак in Scrapy
С Чарли я что то не разобрался сходу... Даже не нашёл где там куки то вообще, с привязкой к запросу
источник
15:10пожаловаться#19

МС

Михаил Синегубов in Scrapy
Ну, я тебе пинцип сказал
источник
15:13пожаловаться#20