Size: a a a

2019 December 06

VS

Viktor Sh in Scrapy
Спасибо! Пробую :)
источник

VS

Viktor Sh in Scrapy
Взял несколько прокси, проверил с локалки - работает. На сервере запускаю и опять не работает =(((
источник

EB

Elisei Badanin in Scrapy
хэдеры
источник

К

Кирилл in Scrapy
проверь реально ли ты прикрутил прокси, https://httpbin.org/ip
источник

B

BOT FACTORY in Scrapy
ребята, кто умеет защиты обходить с браузерами на питоне ? нужно сделать полный скриншот с акамаем
источник

VS

Viktor Sh in Scrapy
Elisei Badanin
хэдеры
Можно чуть подробнее?
источник

EB

Elisei Badanin in Scrapy
все умеют
источник

B

Bulatbulat48 in Scrapy
BOT FACTORY
ребята, кто умеет защиты обходить с браузерами на питоне ? нужно сделать полный скриншот с акамаем
В акамае много разных защит, если нужен скрин то можно взять пупетир
источник

B

BOT FACTORY in Scrapy
мне нужен простой скрипт выдачи скриншота такой страницы, кто свободен сделать ?
источник

EB

Elisei Badanin in Scrapy
Viktor Sh
Можно чуть подробнее?
какой-нибуль lang-accept не совпадает со страной прокси
источник

EB

Elisei Badanin in Scrapy
если на вин работает, на линухе нет — по tcp пакету можно ось определить, если в юсерагенте винда, а приходит с линуха, то могут банить
источник

EB

Elisei Badanin in Scrapy
BOT FACTORY
мне нужен простой скрипт выдачи скриншота такой страницы, кто свободен сделать ?
источник

К

Кирилл in Scrapy
Elisei Badanin
все умеют
Я вот воюю с cloudflare, то-ли какая-то новая версия, но обычный подход с cfscrape не срабатывает, падает с ошибкой что нет Location для редиректа, а пупитер, вроде как решает челендж через время, но потом идёт инфинити обновление страницы, видимо какие-то редиректы поломаны
источник

VS

Viktor Sh in Scrapy
Elisei Badanin
если на вин работает, на линухе нет — по tcp пакету можно ось определить, если в юсерагенте винда, а приходит с линуха, то могут банить
О! Это очень может быть! Как это проверить?
источник

EB

Elisei Badanin in Scrapy
Viktor Sh
О! Это очень может быть! Как это проверить?
юсерагент поменять
источник

EB

Elisei Badanin in Scrapy
вообще погугли, я где-то видел большое обсуждение этого всего и как можно юзать
источник

К

Кирилл in Scrapy
Кирилл
Я вот воюю с cloudflare, то-ли какая-то новая версия, но обычный подход с cfscrape не срабатывает, падает с ошибкой что нет Location для редиректа, а пупитер, вроде как решает челендж через время, но потом идёт инфинити обновление страницы, видимо какие-то редиректы поломаны
кто-то сталкивался с таким?
источник

EB

Elisei Badanin in Scrapy
Кирилл
Я вот воюю с cloudflare, то-ли какая-то новая версия, но обычный подход с cfscrape не срабатывает, падает с ошибкой что нет Location для редиректа, а пупитер, вроде как решает челендж через время, но потом идёт инфинити обновление страницы, видимо какие-то редиректы поломаны
тоже самое, жс не кросбраузерный, есть код который на одном браузере работает, на другом нет…..но это так, догадки….хотя я и видел такую защиту
источник

B

BOT FACTORY in Scrapy
спасибо большое, а оно палится ?
источник

М

Мак in Scrapy
подскажите, если кто сталкивался. на поисковую выдачу яндекса желательно какую нибудь задержку запросов ставить, чтоб капчу не совал на каждый запрос?
источник