Size: a a a

2020 September 12

AR

Andrey Rahmatullin in Scrapy
Дайте ему ссылку уже, мне влом
источник

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
Дайте ему ссылку уже, мне влом
источник

AR

Andrey Rahmatullin in Scrapy
Ну
источник

A

Alex in Scrapy
интересно)
реквесты такого типа, которые показывают телефон
каким образом их можно формировать, понятно что каждый раз они будут разные
https://www.olx.ua/ajax/misc/contact/phone/HrTYR/?pt=346f8df1e6c043ba222be42f49b46e8bbde2924c10cc84d52a6bbb84226a548ed5a8aa46f3b9295119bd72fa3798656c14e6f0d6835a09ec6cedecc3b2ba7c67
источник

AR

Andrey Rahmatullin in Scrapy
Из данных со страницы скорее всего
источник

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
Из данных со страницы скорее всего
да
источник

S

SoHard 🎄 in Scrapy
но там еще будет немного секса с прокси
источник

S

SoHard 🎄 in Scrapy
сталкивались с Distil Networks? запасаться кучей прокси или может есть еще какие моменты?
источник

AR

Andrey Rahmatullin in Scrapy
Хедлесс
источник

S

SoHard 🎄 in Scrapy
я подкинул куки с браузера, ~450 запросов и капча
источник

S

SoHard 🎄 in Scrapy
мне кажется с хедлесс будет тоже капчу кидать
источник

A

Alex in Scrapy
подскажите такой вопрос
я все таки делаю с помощью вебдрайвера
нажимает у меня на кнопку, все ок
появляется текст, я пробую его взять
response.css('#contact_methods_below > li > div > strong').get() - и в ответ я получаю
<strong>06x xxx xxxx</strong>
источник

A

Alex in Scrapy
хотя показывает текст после нажатие кнопки
источник

К

Кирилл in Scrapy
Alex
подскажите такой вопрос
я все таки делаю с помощью вебдрайвера
нажимает у меня на кнопку, все ок
появляется текст, я пробую его взять
response.css('#contact_methods_below > li > div > strong').get() - и в ответ я получаю
<strong>06x xxx xxxx</strong>
ты обновил html в reponse, после нажатия кнопки?
источник

A

Alex in Scrapy
Кирилл
ты обновил html в reponse, после нажатия кнопки?
нет)
источник

A

Alex in Scrapy
Alex
нет)
ньюфага ответ - понял
источник

К

Кирилл in Scrapy
Или обнови из драйвера, или ищи в драйвере
источник

A

Alex in Scrapy
up_responce = Selector(text=self.driver.page_source) - таким способом нормально делать или это криво?
источник

К

Кирилл in Scrapy
норм
источник

A

Alex in Scrapy
Кирилл
норм
спасибо!
источник