Size: a a a

2020 February 04

AR

Andrey Rahmatullin in Scrapy
🤷‍♂️
источник

EB

Evgeny Bukharev in Scrapy
Alexander B
а local-name() это не про это?
можно подробнее?
источник

EB

Evgeny Bukharev in Scrapy
спасибо люди добрые)
источник

AB

Alexander B in Scrapy
ну я сам гуглю и пока не понял. Вроде как можно сделать
response.xpath("//*[local-name()='loc']") и может заигнорит неймспейсы)
источник

S

Snoop Duck in Scrapy
Snoop Duck
На прошлой неделе пытался парсить сайт связного при помощи scrapy + selenium на хроме. Вроде всё шло нормально. Сегодня попытался зайти на сайт ещё раз, и меня пускают на один-два перехода, а потом ничего не грузится: в депелопер консоли получаю статус canceled и попытки перезагрузить страницу. При этом в файрфоксе всё работает нормально. Не могу понять, это бан или что? И почему тогда работает на другом браузере? 🤔
Сегодня чудесным образом всё само восстановилось 🤷‍♂️
источник

AR

Andrey Rahmatullin in Scrapy
отпал бан, чо
источник

S

Snoop Duck in Scrapy
Как бы теперь не получить снова)
источник

S

Snoop Duck in Scrapy
Попробовать парсить через прокси?
источник

AR

Andrey Rahmatullin in Scrapy
это уж смотря насколько там умная детектилка
источник

AR

Andrey Rahmatullin in Scrapy
ну для начала да, через ротирующиеся прокси
источник

S

Snoop Duck in Scrapy
Для начала? А что ещё можно попробовать, если ротирующиеся прокси не помогут? 🤔
источник

AR

Andrey Rahmatullin in Scrapy
ротировать хедлесс браузеры например
источник

AR

Andrey Rahmatullin in Scrapy
или, в крайнем случае, ничего
источник

R

Roma in Scrapy
ну может еще частоту запросов увеличить
источник

AR

Andrey Rahmatullin in Scrapy
уменьшить?
источник

R

Roma in Scrapy
вернее - наоборот - да верно
источник

R

Roma in Scrapy
ну чтобы не сильно часто
источник

AR

Andrey Rahmatullin in Scrapy
угу
источник

R

Roma in Scrapy
плюс какую нибудь формулу типа  * 0.5
источник

R

Roma in Scrapy
DOWNLOAD_DELAY = 0.5 * 0.25
источник