Size: a a a

2019 December 14

S

Stasykk in Scrapy
Кирилл
Наверное. Я нашел еще статьи, но пусть лучше ответят те, кто реально с этим сталкивался
Да я тоже много уже проштудировала и штудирую дальше сижу...просто глупость какая то почему они по отдельности работаю, а вместе нет...
источник

S

Stasykk in Scrapy
Есть еще вариант использовать PhantomJS, но я так понимаю, что будет видно используемый браузер...а мне бы этого не хотелось
источник

B

Bulatbulat48 in Scrapy
Да просто сайт парсил и отключал тротлинг
источник
2019 December 15

S

Stasykk in Scrapy
Кирилл
Наверное. Я нашел еще статьи, но пусть лучше ответят те, кто реально с этим сталкивался
Складывается у меня впечатление, что никто больше не ответит мне...😒
источник

К

Кирилл in Scrapy
Самый простой вариант, если ты можешь переключить авторизацию прокси с логина/пароля на IP
источник

S

Stasykk in Scrapy
Stasykk
Есть еще вариант использовать PhantomJS, но я так понимаю, что будет видно используемый браузер...а мне бы этого не хотелось
С PhantomJS тоже не работает...(
источник

B

Bulatbulat48 in Scrapy
Stasykk
Складывается у меня впечатление, что никто больше не ответит мне...😒
Тут в основном по скрапи, как вариант возьмите пупетир. По селениуму можете поискать группу qa или как-то так называется.
источник

К

Кирилл in Scrapy
Скрапи же работает в связке с селениумом
источник

B

Bulatbulat48 in Scrapy
Ну или сплеш как вариант.
источник

S

Stasykk in Scrapy
Bulatbulat48
Тут в основном по скрапи, как вариант возьмите пупетир. По селениуму можете поискать группу qa или как-то так называется.
Меня к вам отправили из другой группы 🙆
источник

B

Bulatbulat48 in Scrapy
Stasykk
Меня к вам отправили из другой группы 🙆
А какая цель, что хотите сделать?
источник

К

Кирилл in Scrapy
Кстати не думал, что запуск селениума с прокси, такой гемор
источник

К

Кирилл in Scrapy
Вроде рядовая задача
источник

S

Stasykk in Scrapy
Bulatbulat48
А какая цель, что хотите сделать?
Да пока особо бесцельно учусь так сказать, интересует продвижение групп в вк и в инс
источник

R

Roma in Scrapy
def start_requests(self):


       capabilities_chrome = {
           'browserName': 'chrome',
           'proxy': {
               'proxyType': 'manual',
               'httpProxy': self.settings['HTTP_PROXY']
           },
           'goog:chromeOptions': {
               'args': [
                   '--disable-extensions',
                   '--disable-infobars',
                   '-–disable-web-security',
                   '--disable - gpu'
               ],
               'prefs': {
                   'download.prompt_for_download': False,
                   'plugins.always_open_pdf_externally': True,
                   'safebrowsing_for_trusted_sources_enabled': False,
               }
           }
       }


       driver = webdriver.Remote(
           command_executor='http://192.168.1.111:4444/wd/hub',
           desired_capabilities=capabilities_chrome)
       driver.set_script_timeout(30000)
       driver.get(self.start_urls)
источник

R

Roma in Scrapy
Гляньке как я запускал прокси на селениум сервере
источник

R

Roma in Scrapy
может локально тоже как то адаптируется
источник

Ф

ФСБ in Scrapy
красота
источник

Ф

ФСБ in Scrapy
а напрямую конектить прокси в браузер никак?
источник

Ф

ФСБ in Scrapy
если быть конкретней, например делать запуск 5-ти браузеров с разными прокси
источник