A
Size: a a a
2020 September 12
A
чет у меня странно ведет себя паук, где то я натупил
правильно ли я построил логику работы паука?
правильно ли я построил логику работы паука?
def parse(self, response):
links = все линки на категории for page in links: -- захожу в каждую категорию yield scrapy.Request(page, callback = self.parse_page)
def parse_page(self, response):
page_links = получаю линки обьяв на странице for ads in page_links: - захожу в каждый линк yield scrapy.Request(ads, callback = self.parse_ads)
link_next_page = получаю ссылку на следующую страницу yield response.follow(link_next_page, self.parse_page) - передаю ссылку def parse_ads(self, response): - собираю данные yield {
'Phone': phone_number,
}Лучше комент писать через #
A
И через
`СТ
поставил принты
вываливает одинаковые линки
вываливает одинаковые линки
я не мастер скрапи, но подозреваю что там где-то как-то должен и логгинг нормальный настраиваться
S
я не мастер скрапи, но подозреваю что там где-то как-то должен и логгинг нормальный настраиваться
А ещё можно брейкпоинт поставить)
AL
я подкинул куки с браузера, ~450 запросов и капча
а разгадывать капчу (через сервисы) - чем не вариант? )
AL
450 запросов... если быстро не надо, то на АйрСокс "общий прокси" (750р который) прокси меняет ip каждые 120 секунд ) ...но я про Distill Networks не знаю ничего, какие там нюансы )
S
а разгадывать капчу (через сервисы) - чем не вариант? )
Там их капча, яхз разгадывают ли такие
i
интересно)
реквесты такого типа, которые показывают телефон
каким образом их можно формировать, понятно что каждый раз они будут разные
реквесты такого типа, которые показывают телефон
каким образом их можно формировать, понятно что каждый раз они будут разные
https://www.olx.ua/ajax/misc/contact/phone/HrTYR/?pt=346f8df1e6c043ba222be42f49b46e8bbde2924c10cc84d52a6bbb84226a548ed5a8aa46f3b9295119bd72fa3798656c14e6f0d6835a09ec6cedecc3b2ba7c67пару лет назад его парсил, там надо было передать что-то типа ключика и токена и тогда оно показывало телефон.
2020 September 13
A
Доброго дня, коллеги!
Может, кто сталкивался с сайтом exist.ru? Проблема в том, что не удается сделать в среднем больше 50-ти запросов с одного ip, в т.ч. с элитных прокси. Одинаковый результат в однопоточном и многопоточных режимах. Время задержки между запросами ставил рандомную от 4-х до 10-ти сек., но потом увеличил до 30-ти, но ничего не изменилось - сервер все равно блочит айпишку. Валидные хедэры выставлял, сессии использовал (модуль requests). По анализу сайта вижу, что апи вроде есть, но как к нему подобраться не нашел. Если кто знает, как увеличить полезное число запросов, подскажите, пожалуйста!
Может, кто сталкивался с сайтом exist.ru? Проблема в том, что не удается сделать в среднем больше 50-ти запросов с одного ip, в т.ч. с элитных прокси. Одинаковый результат в однопоточном и многопоточных режимах. Время задержки между запросами ставил рандомную от 4-х до 10-ти сек., но потом увеличил до 30-ти, но ничего не изменилось - сервер все равно блочит айпишку. Валидные хедэры выставлял, сессии использовал (модуль requests). По анализу сайта вижу, что апи вроде есть, но как к нему подобраться не нашел. Если кто знает, как увеличить полезное число запросов, подскажите, пожалуйста!
E
Доброго дня, коллеги!
Может, кто сталкивался с сайтом exist.ru? Проблема в том, что не удается сделать в среднем больше 50-ти запросов с одного ip, в т.ч. с элитных прокси. Одинаковый результат в однопоточном и многопоточных режимах. Время задержки между запросами ставил рандомную от 4-х до 10-ти сек., но потом увеличил до 30-ти, но ничего не изменилось - сервер все равно блочит айпишку. Валидные хедэры выставлял, сессии использовал (модуль requests). По анализу сайта вижу, что апи вроде есть, но как к нему подобраться не нашел. Если кто знает, как увеличить полезное число запросов, подскажите, пожалуйста!
Может, кто сталкивался с сайтом exist.ru? Проблема в том, что не удается сделать в среднем больше 50-ти запросов с одного ip, в т.ч. с элитных прокси. Одинаковый результат в однопоточном и многопоточных режимах. Время задержки между запросами ставил рандомную от 4-х до 10-ти сек., но потом увеличил до 30-ти, но ничего не изменилось - сервер все равно блочит айпишку. Валидные хедэры выставлял, сессии использовал (модуль requests). По анализу сайта вижу, что апи вроде есть, но как к нему подобраться не нашел. Если кто знает, как увеличить полезное число запросов, подскажите, пожалуйста!
кек
я впервые этот сайт открыл в жизни. мне сразу уведомление что айпишник заблочен
так что не думаю что тебе помогут таймауты
я впервые этот сайт открыл в жизни. мне сразу уведомление что айпишник заблочен
так что не думаю что тебе помогут таймауты
S
https://luminati.io/?affiliate=ref_5f34ec2ec7669177abd94f8c
#proxy #прокси
я вотета юзаю, но оплачиваю не за ip а за трафик
#proxy #прокси
я вотета юзаю, но оплачиваю не за ip а за трафик
попробуй прокси "дата-центр"
A
кек
я впервые этот сайт открыл в жизни. мне сразу уведомление что айпишник заблочен
так что не думаю что тебе помогут таймауты
я впервые этот сайт открыл в жизни. мне сразу уведомление что айпишник заблочен
так что не думаю что тебе помогут таймауты
Ого! Какая-то странная у них политика фильтрации айпишников. Такое ощущение, они тупо блочат не просто айпи точечно, а целые подсети рубят, стоит хотя бы одному айпи засветиться и не понравиться серверу. Блин...