Size: a a a

2020 September 11

AL

Alexey Lemeshevski in Scrapy
Михаил Синегубов
в постмане "Import RAW"
А вы Постман для отладки запросов с большим числом параметров используете, верно понял?)
источник

МС

Михаил Синегубов... in Scrapy
Я постман просто пользую. Иногда и для простого гет запроса
источник

AL

Alexey Lemeshevski in Scrapy
Интересно)
источник
2020 September 12

A

Alex in Scrapy
Всем привет.
столкнулся с такой проблемкой
использую webdriver.Chrome
запускаю паука но браузер почему то не ходит по ссылкам
просто пустая страница и все
код вот такой

def __init__(self):
 self.chrome_options = Options()
 # self.chrome_options.add_argument('--headless')
 self.chrome_options.add_argument('--no-sandbox')
 self.chrome_options.add_argument('--disable-dev-shm-usage')
 self.driver = webdriver.Chrome(executable_path='/home/chromedriver_linux64_85/chromedriver', chrome_options=self.chrome_options)

def parse_ads(self, response):
 phone_button = self.driver.find_element_by_css_selector('#contact_methods_below > li > span')
 self.driver.execute_script("arguments[0].scrollIntoView();", phone_button)
 sleep(random.randrange(2, 3))
 phone_button.click()
 sleep(random.randrange(1, 2))
 phone_number = response.css('#contact_methods_below > li > div > strong ::text').get()
 yield {
     'LINKS': phone_number,

   }
источник

A

Alex in Scrapy
from selenium import webdriver
from parsel import Selector
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import ElementClickInterceptedException
from selenium.common.exceptions import NoSuchElementException
from selenium.common.exceptions import StaleElementReferenceException
from selenium.webdriver.common.keys import Keys
from selenium.webdriver import ActionChains

это импорты
источник

К

Кирилл in Scrapy
а почему оно должно ходить? страница открывается в селениуме через driver.get(url) у тебя нет такого кода
источник

К

Кирилл in Scrapy
источник

A

Alex in Scrapy
Кирилл
а почему оно должно ходить? страница открывается в селениуме через driver.get(url) у тебя нет такого кода
да точно)
спасибо
забыл добавить
self.driver.get(response.url)
self.driver.set_window_size(1349, 629)
источник

К

Кирилл in Scrapy
хотя вообще скрапи ли это?
источник

A

Alex in Scrapy
скрапи)
источник

A

Alex in Scrapy
Кстати, а можно кликать на элементы не используя вебдрайвер?
источник

К

Кирилл in Scrapy
Да, если сможешь нажать что-то на сайте не открывая браузер
источник

iz

izzz zzi in Scrapy
Семён Трояновский
ребят, с диллерами private api к авито мб кто-нибудь имел дело?
Дилерами ?)
источник

A

Alex in Scrapy
Кирилл
Да, если сможешь нажать что-то на сайте не открывая браузер
понял)
источник

S

SoHard 🎄 in Scrapy
Alex
Всем привет.
столкнулся с такой проблемкой
использую webdriver.Chrome
запускаю паука но браузер почему то не ходит по ссылкам
просто пустая страница и все
код вот такой

def __init__(self):
 self.chrome_options = Options()
 # self.chrome_options.add_argument('--headless')
 self.chrome_options.add_argument('--no-sandbox')
 self.chrome_options.add_argument('--disable-dev-shm-usage')
 self.driver = webdriver.Chrome(executable_path='/home/chromedriver_linux64_85/chromedriver', chrome_options=self.chrome_options)

def parse_ads(self, response):
 phone_button = self.driver.find_element_by_css_selector('#contact_methods_below > li > span')
 self.driver.execute_script("arguments[0].scrollIntoView();", phone_button)
 sleep(random.randrange(2, 3))
 phone_button.click()
 sleep(random.randrange(1, 2))
 phone_number = response.css('#contact_methods_below > li > div > strong ::text').get()
 yield {
     'LINKS': phone_number,

   }
а что за сайт, я бы глянул чисто ради того чтобы узнать нужен ли там селениум
источник

A

Alex in Scrapy
SoHard 🎄
а что за сайт, я бы глянул чисто ради того чтобы узнать нужен ли там селениум
источник

S

SoHard 🎄 in Scrapy
не нужен)
источник

S

SoHard 🎄 in Scrapy
я даже где-то на гитхабе видел решение на реквестах
источник

A

Alex in Scrapy
а как же кнопку Показать телефон нажимать?)
источник

S

SoHard 🎄 in Scrapy
Alex
а как же кнопку Показать телефон нажимать?)
смотреть что она делает и делать так же
источник