OS
тока не говори, что там заморочки с сертификатами...
это у яндекс маркета)
Size: a a a
2020 October 21
OS
Хотя ситуация похожая, если на ЯМ чистым курлом тем же стучать - 403
l
тока не говори, что там заморочки с сертификатами...
Нет
l
у меня вообще, какая то непонятная ржака, запрашиваю страницу https://www.avito.ru/rolfcenter/
1. скрапи на прямую - каптча
2. скрапи с прокси чарлика (захотел посмотреть заголовки) - норм
3. постман - норм
мне идти ауру чистить или я не один такой везучий?
1. скрапи на прямую - каптча
2. скрапи с прокси чарлика (захотел посмотреть заголовки) - норм
3. постман - норм
мне идти ауру чистить или я не один такой везучий?
Заголовок какой отправляешь?
МС
пока - менял только юзерагента
что из постмана копировал - сейчас не скажу, дома код
что из постмана копировал - сейчас не скажу, дома код
OS
пока - менял только юзерагента
что из постмана копировал - сейчас не скажу, дома код
что из постмана копировал - сейчас не скажу, дома код
а чего из постмана? Я обычно в браузере смотрю что request отправляет и копирую...
МС
а чего из постмана? Я обычно в браузере смотрю что request отправляет и копирую...
ну, постман нормально получает данные, почему его не посмотреть
МС
тем более, когда нужен именно чистый запрос, без вмешательства всяческих JS и прочей лабуды
OS
Ок, буду иметь ввиду)
OS
Может кто стэк или решения какие подскажет для разворачивания серверов на aws и поднятии пауков? (пауки через скрапид на докере поднимаются)
i
а еще какой-то вона есть https://scrapy-cluster.readthedocs.io/en/latest/topics/advanced/docker.html
OS
может настолько стабилен и актуален что не требует доработок?))
i
ахаха
Other important components required to run the cluster
Python 2.7: https://www.python.org/downloads/
Other important components required to run the cluster
Python 2.7: https://www.python.org/downloads/
