S
Size: a a a
2020 October 09
A
Вот мне ето и нужно, кеш скрейпить, а там нет картинок и другого треша:)
AR
В обычном браузере всегда нормально прогружает😅
Там у тебя юблок, а в селениуме нет
SS
Пытаюсь построить селекторы для получения размеров со страницы https://www.kiskissing.com/young-wild-three-letters-print-toddler-kids-grey-t-shirt.html
chrome добавляет tbody и не понятно как выглядит html для scrapy. Как лучше всего такие проблемы решать? Читать html в текстовом редакторе?
chrome добавляет tbody и не понятно как выглядит html для scrapy. Как лучше всего такие проблемы решать? Читать html в текстовом редакторе?
AR
Да
AR
Ну или помнить про tbody просто
SS
а есть инструменты просмотра кода, которые видят html так же как и scrapy?
A
а есть инструменты просмотра кода, которые видят html так же как и scrapy?
Принт респонс бади
S
а есть инструменты просмотра кода, которые видят html так же как и scrapy?
parsel)
MМ
https://github.com/TeamHG-Memex/scrapy-rotating-proxies Что означает ROTATING_PROXY_BACKOFF_BASE и ROTATING_PROXY_BACKOFF_CAP?
MМ
через сколько новый прокси возьмет из списка?
S
через сколько новый прокси возьмет из списка?
Non-working proxies could become alive again after some time. scrapy-rotating-proxies uses a randomized exponential backoff for these checks - first check happens soon, if it still fails then next check is delayed further, etc. Use ROTATING_PROXY_BACKOFF_BASE to adjust the initial delay (by default it is random, from 0 to 5 minutes). The randomized exponential backoff is capped by ROTATING_PROXY_BACKOFF_CAP.MМ
Он рандомно прокси выбирает да? Не до бана же по каждой прокси работает?
S
Он рандомно прокси выбирает да? Не до бана же по каждой прокси работает?
это не за выбор прокси параметры
MМ
это не за выбор прокси параметры
но вообще рандомно же ыбираются прокси при каждом запросе?
MМ
AR
а есть инструменты просмотра кода, которые видят html так же как и scrapy?
Обычно это не требуется