Size: a a a

2020 January 10

B

Bulatbulat48 in Scrapy
Окей
источник

В

Владислав in Scrapy
Kosta
Всем привет. Может кто глянуть в чем проблема. Выглядит вв shellсе очень просто, но рузультат пустой. Другие элементы скрапи берет без проблем.Пытаюсь получить по ссылке https://www.dunelm.com/product/cast-iron-medium-cooking-pot-1000123369 , class="css-sfl0gj eofwkkb0" текст £9.95 и ни фига... и так пробовал в shell: response.xpath('//*[@id="root"]/div[1]/div[5]/div/div/div[3]/div[2]/div/div[3]/div/div[1]/div[1]/div[2]/div[2]').extract() и так response.xpath("//div[@class='css-sfl0gj eofwkkb0']").extract() и так response.xpath('//*[contains(@class,"css-sfl0gj eofwkkb0")]').extract() . везде пусто
Подозреваю, что класс меняется после перезагрузки страниц как на яндекс маркете
источник

AR

Andrey Rahmatullin in Scrapy
угу
источник

SS

Sergey Sergey in Scrapy
Коллеги, добрый день! Запускаю скрейпи из кода, при этом передаю парсеру параметры через os.environ.setdefault('SCRAPY_SETTINGS_MODULE', settings_file_path)
И при этом парсер не запускается
Но из консоли или БЕЗ передачи параметров запускается нормально.
То есть из кода, но с использованием внутренних парметров скрейпи, запуск происходит отлично.
Кто-то сталкивался? В чем может быть проблема?
источник

Q

Qwelcer in Scrapy
Ребята как мне указать, что внутри class: cars-container есть divы и только потом внутри них тэги "a"?
источник

iz

izzz zzi in Scrapy
Qwelcer
Ребята как мне указать, что внутри class: cars-container есть divы и только потом внутри них тэги "a"?
Зачем тебе вс?
источник

Q

Qwelcer in Scrapy
izzz zzi
Зачем тебе вс?
не понял?
источник
2020 January 11

iz

izzz zzi in Scrapy
Qwelcer
не понял?
Напрямую через lxml , и xpath
источник

iz

izzz zzi in Scrapy
Быстрее будет
источник

Q

Qwelcer in Scrapy
izzz zzi
Быстрее будет
у меня там прописано html.parser ты про это?
источник

iz

izzz zzi in Scrapy
Нет я тебе предлагаю вообще удалить бс4😁
источник

A

Andrei in Scrapy
Всем доброй ночи
источник

Q

Qwelcer in Scrapy
хм, а чем он тебе не нравится ?
источник

A

Andrei in Scrapy
Кто в селениуме шарит?
источник

iz

izzz zzi in Scrapy
Qwelcer
хм, а чем он тебе не нравится ?
Медленно
источник

Q

Qwelcer in Scrapy
izzz zzi
Медленно
а если я тут пропишу так
источник

Q

Qwelcer in Scrapy
что нить изменится?))
источник

iz

izzz zzi in Scrapy
Qwelcer
что нить изменится?))
Кинь код в лс , щас сяду за пк переделаю
источник

iz

izzz zzi in Scrapy
Бс сам по себе медленный
источник

A

Andrei in Scrapy
Кто подскажет как в консоле прописать xvfb?
источник