Size: a a a

2020 September 25

К

Кирилл in Scrapy
Когда подключишь BanDetectionMiddleware должно работать, и ещё вариант, если кастом полиси плохо написан
источник

К

Кирилл in Scrapy
К чему тогда инфа про джангу?
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
Кирилл
Когда подключишь BanDetectionMiddleware должно работать, и ещё вариант, если кастом полиси плохо написан
"ничего не менялось, оно само"
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
ненавижу эту фразу но выглядит именно так
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
Кирилл
К чему тогда инфа про джангу?
еще идеи есть?
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
Scrapy stats:
{'bans/error/scrapy.core.downloader.handlers.http11.TunnelError': 12,
'downloader/exception_count': 12,
'downloader/exception_type_count/scrapy.core.downloader.handlers.http11.TunnelError': 12,
источник

МС

Михаил Синегубов... in Scrapy
'downloader/exception_type_count/scrapy.core.downloader.handlers.http11.TunnelError': 12,

1. не помню, ловит ли стандартная мидлварь эту ошибку
2. без проксей, хоть сколько то страниц получает?
3. браузер, с этой проексей открывает  сайт?
4. юзерагента поменял в пауке?
5. след. раз кидай на пастебин или еще на что такое, нафиг тут такая простынь?
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
2. без проксей, хоть сколько то страниц получает? -работает, как электровеник, пока по ип не начинают банить
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
4. юзерагента поменял в пауке? - стоит ченжер
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
5. след. раз кидай на пастебин или еще на что такое, нафиг тут такая простынь? - принято
источник

i

i in Scrapy
Заменять не надо
источник

i

i in Scrapy
Сделай unescape сначала https://docs.python.org/3/library/html.html
источник

A

Andrii in Scrapy
Привет. Посоветуйте прокси сервис. Нужно ~ 250-500 прокси адресов и ~ гб 20 канал
источник

A

Andrii in Scrapy
где-то до 20$
источник

К

Кирилл in Scrapy
Не надо убирать эскейп, у тебя где-то плохо закрыта строка или что-то вроде того. Нужно чтоб это был валидный json и всё тогда будет хорошо
{"str": "сенсорная плита, духовка "gorenje", холодильник."}
источник

К

Кирилл in Scrapy
Может быть это не тот код? Здесь нет того куска который ты в первый раз скинул
источник

К

Кирилл in Scrapy
Эскейпь \\"
источник

i

i in Scrapy
а да, чот такое вспомнилось, что валидный json не надо декодировать по-стандарту, т.к. он там чуть ли не 7-битный
источник

i

i in Scrapy
у меня взлетело кстати без этой ошибки, если вставить r перед обрамлением в кавычки, т.е. r'тут_твой_json_как_одна_строка'
т.е. взлетит и второй вариант обескейпить там все, что движется
источник

i

i in Scrapy
видать питон там шибко умный и начинает часть эскейпов брать на себя, и поэтому руинит этот json
источник