Size: a a a

2020 November 30

AR

Andrey Rahmatullin in Scrapy
и колбэков
источник

AR

Andrey Rahmatullin in Scrapy
сейчас там стройная система вида "дерево"
источник
2020 December 01

MM

Maxim Matantsev in Scrapy
Как у такого html достать весь текст внутри тега p?

<div class="col-sm-5 col 2">
 <p>AIG Memsa, Inc.
   <span class="captalize">until 02 May 2007</span>
 </p>
  <p>AIG Memsa, Inc.
   <span class="captalize">until 02 May 2007</span>
 </p>
</div>
источник

MM

Maxim Matantsev in Scrapy
через xpath
источник

A

Andrii in Scrapy
Maxim Matantsev
через xpath
Внутри тега или еще под тега?
источник

MM

Maxim Matantsev in Scrapy
Andrii
Внутри тега или еще под тега?
внутри всего p
источник

MM

Maxim Matantsev in Scrapy
вложенный и тд
источник

A

Andrii in Scrapy
//p//text()
источник

MM

Maxim Matantsev in Scrapy
Andrii
//p//text()
не, так получится список, а мне надо просто строка
источник

A

Andrii in Scrapy
Maxim Matantsev
не, так получится список, а мне надо просто строка
Что?
источник

MM

Maxim Matantsev in Scrapy
Andrii
Что?
получится список ['AIG Memsa, Inc.', 'until 02 May 2007']
источник

A

Andrii in Scrapy
И?
источник

MM

Maxim Matantsev in Scrapy
Andrii
И?
так а мне надо чтобы сразу было "'AIG Memsa, Inc. until 02 May 2007"
источник

A

Andrii in Scrapy
Maxim Matantsev
так а мне надо чтобы сразу было "'AIG Memsa, Inc. until 02 May 2007"
Джоин?
источник

MM

Maxim Matantsev in Scrapy
Andrii
Джоин?
ну и как это будет в xpath? это я и спрашиваю
источник

AR

Andrey Rahmatullin in Scrapy
//p, разметку вырезать в питоне
источник

D

Dmitry in Scrapy
Andrey Rahmatullin
не в твистеде проблема, а в лайфсайкле реквестов
Придумал извращенство. Можно передавать каждому подреквесту в cb_kwargs каунтер, изначально со значением 100. Каждый подреквест уменьшает этот каунтер на 1 (там же везде один поток и все thread-safe?)  и если каунтер стал равен  нулю - значит все остальные подреквесты выполнились и можно парсить корзину. Будет работать?
источник

AR

Andrey Rahmatullin in Scrapy
Dmitry
Придумал извращенство. Можно передавать каждому подреквесту в cb_kwargs каунтер, изначально со значением 100. Каждый подреквест уменьшает этот каунтер на 1 (там же везде один поток и все thread-safe?)  и если каунтер стал равен  нулю - значит все остальные подреквесты выполнились и можно парсить корзину. Будет работать?
Будет, если ты сделаешь мутабельный каунтер
источник

S

SoHard 🎄 in Scrapy
Maxim Matantsev
ну и как это будет в xpath? это я и спрашиваю
источник

AR

Andrey Rahmatullin in Scrapy
(простейший вариант, как известно - лист с интом внутри)
источник