Телеграмм чат группы scrapy

2020 December 02

Ra

как удалить тег?
пример:

<div class="test">
чтото <b>там</b>
<div class="remove-me">удали меня</div>
</div>

чтобы в итоге получить

<div class="test">
чтото <b>там</b>
</div>

scrapy имеет обертки для этого?
или тут без регулярок никак?

источник

21:40пожаловаться #1

AR

Andrey Rahmatullin in Scrapy

w3lib имеет

источник

21:47пожаловаться #2

A

Andrii in Scrapy

Ruslan aka DUDE

как удалить тег?
пример:

<div class="test">
чтото <b>там</b>
<div class="remove-me">удали меня</div>
</div>

чтобы в итоге получить

<div class="test">
чтото <b>там</b>
</div>

scrapy имеет обертки для этого?
или тут без регулярок никак?

Html2text

источник

21:55пожаловаться #3

SS

Stepan Smirnov in Scrapy

Ruslan aka DUDE

как удалить тег?
пример:

<div class="test">
чтото <b>там</b>
<div class="remove-me">удали меня</div>
</div>

чтобы в итоге получить

<div class="test">
чтото <b>там</b>
</div>

scrapy имеет обертки для этого?
или тут без регулярок никак?

lxml поддерживает удаление по селекторам

источник

22:25пожаловаться #4

i

i in Scrapy

ни у кого в последнем селениуме не было такого, что при переключении окон не прогружает страницу, пока условно сам на нее фокус не переведешь? и вообще как-то механизм поменялся, раньше работало без проблем, сейчас не в хедлесс режиме отрабатывает нормально только если не трогать комп

источник

23:12пожаловаться #5

A

Andrii in Scrapy

i

ни у кого в последнем селениуме не было такого, что при переключении окон не прогружает страницу, пока условно сам на нее фокус не переведешь? и вообще как-то механизм поменялся, раньше работало без проблем, сейчас не в хедлесс режиме отрабатывает нормально только если не трогать комп

последний ето 4?

источник

23:15пожаловаться #6

i

i in Scrapy

3.141, там еще вернее комбинация с хромдрайвером

источник

23:17пожаловаться #7

i

i in Scrapy

все это началось послеобновления хрома и соответственно хромдрайвера

источник

23:18пожаловаться #8

BL

Boris Litvyakov in Scrapy

i

ни у кого в последнем селениуме не было такого, что при переключении окон не прогружает страницу, пока условно сам на нее фокус не переведешь? и вообще как-то механизм поменялся, раньше работало без проблем, сейчас не в хедлесс режиме отрабатывает нормально только если не трогать комп

может у тебя тупо комп перегрузился? у меня так было когда я в 10 окон парсил (не бейте это был мой первый парсинг проект)

источник

23:19пожаловаться #9

i

i in Scrapy

не, там ресурсов полно. все медленно делается и на том этапе и переключается буквально 2 окна.

источник

23:21пожаловаться #10

i

i in Scrapy

попробую еще раз обновить хромдрайвер, хром и селениум, вдруг поможет)

источник

23:21пожаловаться #11

i

i in Scrapy

лол, похоже и правда помогло. хром сам обновился, и еще хромдрайвер обновил. видать был какой-то баг и исправили уже.

источник

23:24пожаловаться #12

D

Dmitry in Scrapy

Подскажите, пожалуйста, где почитать как правильно делать non-blocking sleep в этом вашем твистеде? Гуглятся только какие-то заклинания, которые непонятно как в скрапи кастовать. Или проще запустить asyncio reactor и оттуда уже?

источник

23:55пожаловаться #13

AR

Andrey Rahmatullin in Scrapy

non-blocking sleep в твистеде делается дефередом и в скрапи (в колбэке) это действительно не поюзать

источник

23:57пожаловаться #14

AR

Andrey Rahmatullin in Scrapy

ну, как и в другом месте где нельзя вернуть деферед

источник

23:57пожаловаться #15

D

Dmitry in Scrapy

Ну то есть asyncio? Это же норм вариант?

источник

23:58пожаловаться #16

AR

Andrey Rahmatullin in Scrapy

да

источник

23:59пожаловаться #17

2020 December 03

D

Dmitry in Scrapy

Понятно, спасибо. Я опять наткнулся на юз-кейс, который нафик никому не нужен? А как например правильно тогда делать, когда у меня стух прокси, и нужно отправить запрос на его смену, который выполняется Х секунд?

источник

00:00пожаловаться #18

AR

Andrey Rahmatullin in Scrapy

ждать пока запроос выполнится, зачем слип?

источник

00:01пожаловаться #19

D

Dmitry in Scrapy

Ну мне нужно перестать посылать запросы в этот момент из колбэка, и никакой индикации, что прокси поменялся я не получу. В ответ на мой запрос о смене я моментально получаю "ок", а сама смена происходит через Х секунд

источник

00:03пожаловаться #20