Size: a a a

Programming Offtop

2020 December 18

IK

Igor Komarov in Programming Offtop
да
источник

I

Igor in Programming Offtop
Зачем?
источник

IK

Igor Komarov in Programming Offtop
мое любимое "эмуляция запроса от браузера"
источник

IK

Igor Komarov in Programming Offtop
чтобы павуков не банили и не блокировали
источник

AK

Anton Korotkikh in Programming Offtop
Igor Komarov
чтобы павуков не банили и не блокировали
а почему ты уверен что дело в упорядочивании заголовков запроса?
источник

IK

Igor Komarov in Programming Offtop
В том числе в них, и в других вещах. Потому что это действительно так
источник

IK

Igor Komarov in Programming Offtop
Просто наконец-то руки дошли общее решение написать, а не зашивать для каждого запроса вручную порядок
источник

I

Igor in Programming Offtop
Igor Komarov
чтобы павуков не банили и не блокировали
А не проще ли паука написать, поверх браузера?
источник

IK

Igor Komarov in Programming Offtop
Igor
А не проще ли паука написать, поверх браузера?
Не, браузер много весит
источник

IK

Igor Komarov in Programming Offtop
А пауков нужно много
источник

AK

Anton Korotkikh in Programming Offtop
Igor Komarov
В том числе в них, и в других вещах. Потому что это действительно так
ну перехвати запросы хрома или фф каким-нибудь mitm пркосёй или вообще вайршарком и глянь как оно устроенно
источник

Kd

Konstantin dmz9 in Programming Offtop
Igor Komarov
А пауков нужно много
ты поисковик пишешь?
источник

IK

Igor Komarov in Programming Offtop
Anton Korotkikh
ну перехвати запросы хрома или фф каким-нибудь mitm пркосёй или вообще вайршарком и глянь как оно устроенно
Вот если бы все было так просто, и всегда отдавалось бы в одном порядке – я бы так и сделал. Проблема в том, что там скорее всего какой-то мерзотный алгоритм есть
источник

AG

Alexander Gorodok in Programming Offtop
Konstantin dmz9
ты поисковик пишешь?
Лучше. Павука поисковика. (предположения)
источник

Kd

Konstantin dmz9 in Programming Offtop
Alexander Gorodok
Лучше. Павука поисковика. (предположения)
паукана
источник

Kd

Konstantin dmz9 in Programming Offtop
крутой вопрос короче только давайте без гугла
источник

Kd

Konstantin dmz9 in Programming Offtop
как итерировать по пропертям дата класса
источник

Kd

Konstantin dmz9 in Programming Offtop
с енумами охуенно там просто EnumClass.values()
источник

Kd

Konstantin dmz9 in Programming Offtop
а че с дата классами в котелке
источник

IK

Igor Komarov in Programming Offtop
С дата классом ты только по типу Any сможешь итерироваться. Если тебе ок – на рефлексии же быстро написать довольно можно решение
источник