В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2020 January 14

E

Evgen in Scrapy
Константин Лебедев
Ищу обход cloudflare ddos protection для парса на питоне. Перепробовал все что есть на гите. Рабочим оказался только один вариант cloudscrape, но он постоянно выбивает капчу что очень много тратится время на расшифровку и затратно получается. Вариант с селениумом это самый край к нему не хочу прибегать. Поэтому есть ли какие то альтернативы и кто то сталкивался с такой задачей, как решали?
Splash норм если cf без рекаптчи
источник
01:22пожаловаться#1

iz

izzz zzi in Scrapy
без записи в бд
INFO: Crawled 1402 pages (at 1402 pages/min), scraped 1333 items (at 1333 items/min)
с записью в бд ±300 , как повысить скорость?)
источник
01:24пожаловаться#2

К

Кирилл in Scrapy
Константин Лебедев
Ищу обход cloudflare ddos protection для парса на питоне. Перепробовал все что есть на гите. Рабочим оказался только один вариант cloudscrape, но он постоянно выбивает капчу что очень много тратится время на расшифровку и затратно получается. Вариант с селениумом это самый край к нему не хочу прибегать. Поэтому есть ли какие то альтернативы и кто то сталкивался с такой задачей, как решали?
Ты никак от капчи не отвертишься, разные варианты только уменьшают количество капч, но их нужно решать
источник
01:24пожаловаться#3

E

Evgen in Scrapy
У стандартного cf js челенджа минимум две модификации: простая может обходиться через cfscrape или чо нить типа js2py. Но бывает что время от времени вываливается сложная. Плюс кто знает, этот скрипт может измениться в любой момент. Так что я рекомендую splash.
источник
01:24пожаловаться#4

КЛ

Константин Лебедев in Scrapy
Evgen
Splash норм если cf без рекаптчи
А есть ссылка?
источник
01:24пожаловаться#5

E

Evgen in Scrapy
На splash?
источник
01:25пожаловаться#6

КЛ

Константин Лебедев in Scrapy
Evgen
На splash?
Да
источник
01:25пожаловаться#7

К

Кирилл in Scrapy
izzz zzi
без записи в бд
INFO: Crawled 1402 pages (at 1402 pages/min), scraped 1333 items (at 1333 items/min)
с записью в бд ±300 , как повысить скорость?)
Батч инсерт, если упирается в запись в бд
источник
01:25пожаловаться#8

E

Evgen in Scrapy
https://github.com/scrapy-plugins/scrapy-splash
GitHub
scrapy-plugins/scrapy-splash
Scrapy+Splash for JavaScript integration. Contribute to scrapy-plugins/scrapy-splash development by creating an account on GitHub.
источник
01:25пожаловаться#9

E

Evgen in Scrapy
https://github.com/scrapinghub/splash
GitHub
scrapinghub/splash
Lightweight, scriptable browser as a service with an HTTP API - scrapinghub/splash
источник
01:26пожаловаться#10

E

Evgen in Scrapy
Если cf с рекаптчей то пробуйте другие айпишники (регион)
источник
01:26пожаловаться#11

E

Evgen in Scrapy
Или разгадывайте)
источник
01:27пожаловаться#12

iz

izzz zzi in Scrapy
Кирилл
Батч инсерт, если упирается в запись в бд
так пайп по 1 айтему берет же
источник
01:28пожаловаться#13

E

Evgen in Scrapy
Но тока там куки будут скорее всего валидные тока на тот айпи с которого разгадали, так что надо биндить куки к ip и бла бла бла
источник
01:28пожаловаться#14

К

Кирилл in Scrapy
izzz zzi
так пайп по 1 айтему берет же
Сделай буфер в пайпе, итемов на 20, когда накапливаются, делаешь запись
источник
01:29пожаловаться#15

КЛ

Константин Лебедев in Scrapy
Я с браузера захожу и капчи ни какой нет, так что капча=роботность, значит чего то не хватает
источник
01:29пожаловаться#16

E

Evgen in Scrapy
Ну во первых удалите все куки в браузере чтоб проверить
источник
01:30пожаловаться#17

К

Кирилл in Scrapy
Константин Лебедев
Я с браузера захожу и капчи ни какой нет, так что капча=роботность, значит чего то не хватает
Ты если много запрашивать будешь, то и в браузере будут капчи
источник
01:30пожаловаться#18

E

Evgen in Scrapy
Мож им ваш ip уже не так сильно нравится
источник
01:30пожаловаться#19

КЛ

Константин Лебедев in Scrapy
Evgen
Ну во первых удалите все куки в браузере чтоб проверить
Удалял и если что весь траф через тор
источник
01:30пожаловаться#20