Size: a a a

2019 December 17

AB

Alexander B in Scrapy
а с SeleniumRequest никто не работал? настроил селениум, делаю с wait_until=EC.presence_of_all_elements_located((By.XPATH, '//*/h1/')), но в итоге все равно не нахожу элемент, при этом никаких timeout эксепшенов нет и 200ки в логах
источник

AB

Alexander B in Scrapy
источник

AB

Alexander B in Scrapy
при этом parse_item не находит элемент
источник

AR

Andrey Rahmatullin in Scrapy
зачем / в конце?
источник

AB

Alexander B in Scrapy
там  text() был, ща уберу попробую..
источник

AB

Alexander B in Scrapy
ну не, так же. Не понятно, паук запускается, все ок. В чистом селениум-скрипте выдал бы timeoutException если бы не нашел элемент. как так, не понимаю..
источник

AB

Alexander B in Scrapy
блин, отмена миссии, вроде нашел проблему..ругается уже мой пайплайн, потому что спайдер завершился с itemcount, не знаю почему конечно, но дело уже другое
источник

AB

Alexander B in Scrapy
блин, нет, с пайпом все ок, без ограничения тоже падает.. ну ладно
источник

EV

Elena V in Scrapy
вернулась.
подходящий пример сайтмапа состоящего из других сайтмапов:
https://parfums.ua/sitemap.xml

пока я добилась того, что он из набора сайтмапов берет 4, и потом в каждом из 4 берет по 4 ссылки.

а мне нужно чтоб взял ВСЕ, и внутри каждого сайтмапа уже взял по 4 ссылки.
источник

EV

Elena V in Scrapy
что-то с проверкой if entries.type == 'urlset'
или я ее не туда сую, или она должна быть яявно не такой. нашла подобное в _parse_sitemap
источник

EV

Elena V in Scrapy
помогите мне нормально сделать этих три строки сайтмап фильтра 😭
источник

К

Кирилл in Scrapy
Elena V
помогите мне нормально сделать этих три строки сайтмап фильтра 😭
попробуй
   def sitemap_filter(self, entries):
       if entries.type == 'urlset':
           entries = random.choices(list(entries), k=4)

       for entry in entries:
           yield entry
источник

EV

Elena V in Scrapy
кажется пошло
источник

EV

Elena V in Scrapy
одна ссылка всегда теряется
источник

EV

Elena V in Scrapy
например три сайтмапа, у каждого по 4 ссылки дернуть.
в двух дергает по 4. в третьей кажется тоже дергает 4, но плюет 3 :)
источник

К

Кирилл in Scrapy
сделай переменные счетчики, что б посчитать точно
источник

EV

Elena V in Scrapy
и да. я все же не туда засовывала проверку на 'urlset' ^^
источник

EV

Elena V in Scrapy
Кирилл
сделай переменные счетчики, что б посчитать точно
угу. но мне не особо важно если одна ссылка эта не выплюнется. мне важно, чтоб она дернулась. а она дергается и проверяется.
источник

К

Кирилл in Scrapy
значит всё хорошо?
источник

EV

Elena V in Scrapy
да. с этой мелочевкой уже потом разберусь. сейчас хочу туда по пути вкинуть мини-проверку, чтоб еррором стреляло явно и ядерно.
источник