Size: a a a

2020 October 21

OS

Oleg Shleiko in Scrapy
Михаил Синегубов
тока не говори, что там заморочки с сертификатами...
это у яндекс маркета)
источник

OS

Oleg Shleiko in Scrapy
Хотя ситуация похожая, если на ЯМ чистым курлом тем же стучать - 403
источник

l

linuxoid in Scrapy
Михаил Синегубов
тока не говори, что там заморочки с сертификатами...
Нет
источник

l

linuxoid in Scrapy
Михаил Синегубов
у меня вообще, какая то непонятная ржака, запрашиваю страницу https://www.avito.ru/rolfcenter/
1. скрапи на прямую - каптча
2. скрапи с прокси чарлика (захотел посмотреть заголовки) - норм
3. постман - норм

мне идти ауру чистить или я не один такой везучий?
Заголовок какой отправляешь?
источник

МС

Михаил Синегубов... in Scrapy
пока - менял только юзерагента
что из постмана копировал - сейчас не скажу, дома код
источник

OS

Oleg Shleiko in Scrapy
Михаил Синегубов
пока - менял только юзерагента
что из постмана копировал - сейчас не скажу, дома код
а чего из постмана?  Я обычно в браузере смотрю что request отправляет и копирую...
источник

МС

Михаил Синегубов... in Scrapy
Oleg Shleiko
а чего из постмана?  Я обычно в браузере смотрю что request отправляет и копирую...
ну, постман нормально получает данные, почему его не посмотреть
источник

МС

Михаил Синегубов... in Scrapy
тем более, когда нужен именно чистый запрос, без вмешательства всяческих JS и прочей лабуды
источник

OS

Oleg Shleiko in Scrapy
Ок, буду иметь ввиду)
источник

OS

Oleg Shleiko in Scrapy
Может кто стэк или решения какие подскажет для разворачивания серверов на aws и поднятии пауков? (пауки через скрапид на докере поднимаются)
источник

i

i in Scrapy
я не знаю, но может кубернетес?
источник

i

i in Scrapy
источник

i

i in Scrapy
мде, посмотрел гитхаб, основной код 4-летней давности
источник

OS

Oleg Shleiko in Scrapy
может настолько стабилен и актуален что не требует доработок?))
источник

i

i in Scrapy
ну может, так-то там docker-compose.yml 16 месяцев всего)
источник

i

i in Scrapy
ахаха
Other important components required to run the cluster

Python 2.7: https://www.python.org/downloads/
источник

i

i in Scrapy
может это тогда? https://github.com/my8100/scrapydweb
источник

i

i in Scrapy
/me хочет помочь, но не знает чем 😊
источник

i

i in Scrapy
источник

i

i in Scrapy
источник