Size: a a a

2020 October 01

AR

Andrey Rahmatullin in Scrapy
длинное и примерно на 160 начинается - таймстемп
источник

AR

Andrey Rahmatullin in Scrapy
дальше смотреть в секундах или в мс
источник

AR

Andrey Rahmatullin in Scrapy
(а параметр такой в GET суют чтоб точно никто не закешировал)
источник

SS

Stepan Smirnov in Scrapy
спасибо
источник

SS

Stepan Smirnov in Scrapy
а если не отправлять timestamp - в худшем случае распознают паука?
источник

AR

Andrey Rahmatullin in Scrapy
ничеко не будет, думаю, но не вижу сложности в отправке
источник

A

Andrii in Scrapy
можно как то принтануть ип с какого сделан реквест?
источник

A

Andrii in Scrapy
прямо в пауке
источник
2020 October 03

t

t̸i̸n̶y̵P̸i̴c̸k̴... in Scrapy
Делать sleep это прямо плохая идея
источник

D

Dr. Bot in Scrapy
всем привет! кто в курсе, в xpath можно найти только ноду которая содержит текст без тегов? есть такой фильтр? что-то не гуглится
источник

D

Dr. Bot in Scrapy
в div есть от 3 до 10 p, и только 1 нода (<p>) с текстом. всегда разная по порядку. чувствую что можно xpath автоматом такое фильтровать...
источник

К

Кирилл in Scrapy
дай ссылку
источник

D

Dr. Bot in Scrapy
не могу. там жуткая порнушка ) щя сделаю пример и скину :)
источник

К

Кирилл in Scrapy
можно и так
источник

D

Dr. Bot in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
посчитать количество дочерних тегов имхо можно
источник

D

Dr. Bot in Scrapy
я в примере это не отобразил. но в целом. можно игнорить все p внутри которых есть strong или a теги
источник

D

Dr. Bot in Scrapy
вот думаю это отличная зацепка
источник

D

Dr. Bot in Scrapy
всего 2 тега. бывает:
<a>
и
<strong>
источник

К

Кирилл in Scrapy
Dr. Bot
всего 2 тега. бывает:
<a>
и
<strong>
//div[@class="content"]/p[count(*)=0]
источник