iz
Size: a a a
2019 December 18
AR
процессов-то сколько?
AR
это ты точно должен знать, раз ядра смотрел
AR
и оба сидят на одном ядре или что?
AR
прям аффинитью?
iz
ок, тогда вопрос - а почему паук должен работать в нескольких ядрах? это ты в scrapyd запускаеш?а инстансов scrdapyd сколько? а что ты сделал?
ты уж извини, я не выспался и психую, но, блин. Неужели настолько сложно хоть чуть чуть написать? специально прокрутил, это твое первое сообщение за два дня. От каким хером надо понять что тебе надо?
ты уж извини, я не выспался и психую, но, блин. Неужели настолько сложно хоть чуть чуть написать? специально прокрутил, это твое первое сообщение за два дня. От каким хером надо понять что тебе надо?
ну 2 env же , 2 твистера как я понимаю , поэтому и думал что делится , в scrapyd можно же менять кол-во пауков на ядро
K
Помогите плиз.... Пытаюсь взять информацию по ссылке https://www.wayfair.co.uk/furniture/pdp/wrought-studio-fusion-upholstered-storage-bed-hfu2441.html , Но нарываюсь на Captcha, пробовал разное, splash, selenium, proxy rotator и пр и ни фига, гляньте плиз как решить проблемку!
2019-12-18 19:56:41 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.wayfair.co.uk/v/captcha/show?goto=https%3A%2F%2Fwww.wayfair.co.uk%2Ffurniture%2Fpdp%2Fborough-wharf-grant-
bed-frame-hjmf0048.html%3F&px=1> (referer: https://www.wayfair.co.uk/furniture/sb0/beds-c537892.html)
procesing: [] --> https://www.wayfair.co.uk/v/captcha/show?goto=https%3A%2F%2Fwww.wayfair.co.uk%2Ffurniture%2Fpdp%2Fhazelwood-home-durham-bed-frame-u001824638.html%3F&px=1
2019-12-18 19:56:41 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.wayfair.co.uk/v/captcha/show?goto=https%3A%2F%2Fwww.wayfair.co.uk%2Ffurniture%2Fpdp%2Fborough-wharf-grant-
bed-frame-hjmf0048.html%3F&px=1> (referer: https://www.wayfair.co.uk/furniture/sb0/beds-c537892.html)
procesing: [] --> https://www.wayfair.co.uk/v/captcha/show?goto=https%3A%2F%2Fwww.wayfair.co.uk%2Ffurniture%2Fpdp%2Fhazelwood-home-durham-bed-frame-u001824638.html%3F&px=1
МС
Помогите плиз.... Пытаюсь взять информацию по ссылке https://www.wayfair.co.uk/furniture/pdp/wrought-studio-fusion-upholstered-storage-bed-hfu2441.html , Но нарываюсь на Captcha, пробовал разное, splash, selenium, proxy rotator и пр и ни фига, гляньте плиз как решить проблемку!
2019-12-18 19:56:41 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.wayfair.co.uk/v/captcha/show?goto=https%3A%2F%2Fwww.wayfair.co.uk%2Ffurniture%2Fpdp%2Fborough-wharf-grant-
bed-frame-hjmf0048.html%3F&px=1> (referer: https://www.wayfair.co.uk/furniture/sb0/beds-c537892.html)
procesing: [] --> https://www.wayfair.co.uk/v/captcha/show?goto=https%3A%2F%2Fwww.wayfair.co.uk%2Ffurniture%2Fpdp%2Fhazelwood-home-durham-bed-frame-u001824638.html%3F&px=1
2019-12-18 19:56:41 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.wayfair.co.uk/v/captcha/show?goto=https%3A%2F%2Fwww.wayfair.co.uk%2Ffurniture%2Fpdp%2Fborough-wharf-grant-
bed-frame-hjmf0048.html%3F&px=1> (referer: https://www.wayfair.co.uk/furniture/sb0/beds-c537892.html)
procesing: [] --> https://www.wayfair.co.uk/v/captcha/show?goto=https%3A%2F%2Fwww.wayfair.co.uk%2Ffurniture%2Fpdp%2Fhazelwood-home-durham-bed-frame-u001824638.html%3F&px=1
так, погодь, ты именно одну страницу не можешь получить? или когда весь сайта парсишь каптча вылетает?
K
так, погодь, ты именно одну страницу не можешь получить? или когда весь сайта парсишь каптча вылетает?
капча вылазит на всех страницах товаров
