MМ
а есть инструменты просмотра кода, которые видят html так же как и scrapy?
Просто выключи джаваскрипт в браузере. У скрпи есть интерактивный режим scrapy shell
Size: a a a
2020 October 09
S
Просто выключи джаваскрипт в браузере. У скрпи есть интерактивный режим scrapy shell
мимо
MМ
мимо
Почему? Без джаваскрипта в браузере можно будет выбирать xpath через devtools и все 100% будет совпадать.
AR
Ты не видел начало обсуждения, про tbody
A
как добавить сюда правильно прокси с аутентификацией?
def request(self, url, callback, *args, **kwargs):
meta = kwargs.get('meta', {})
meta['request_url'] = url
meta['proxy'] = "https://login:pass@159.8.18.178:8080"
return scrapy.Request(
url=url,
callback=callback,
errback=self.errback,
meta=meta,
dont_filter=True)
AR
Ачо, не работает?
A
Ачо, не работает?
Долго докер пересобирает) щас скажу
MМ
V
что потоки там означают?
50 соединений в секунду
МС
50 соединений в секунду
а разве это не "одновременных подключений"?
СТ
а разве это не "одновременных подключений"?
если там также как и везде, то да
A
Andrii
как добавить сюда правильно прокси с аутентификацией?
def request(self, url, callback, *args, **kwargs):
meta = kwargs.get('meta', {})
meta['request_url'] = url
meta['proxy'] = "https://login:pass@159.8.18.178:8080"
return scrapy.Request(
url=url,
callback=callback,
errback=self.errback,
meta=meta,
dont_filter=True)
ета штука может перекривать мидлваровский process_response ?
AR
какая "штука"?
AR
опять же какой мидлварь имеется в виду
AR
обычно он в странице лежит
S
обычно он в странице лежит
не нахожу