Size: a a a

2020 January 24

E

Evgen in Scrapy
Рекаптча v3 это JS challenge, который выдает сайту вероятность того, что вы реальный человек
источник

E

Evgen in Scrapy
источник

E

Evgen in Scrapy
источник

S

Sergey in Scrapy
Коллеги, добрый вечер. Подскажите, как правильно Rule прописать вот к этому сайту : https://www.barreau-marseille.avocat.fr/fr/annuaire/page-1?&full=&nom=&specialites=&recherche_annuaire-submit=Ok
источник

S

Sergey in Scrapy
я прописываю вот так:   rules = (
       Rule(LinkExtractor(allow=('//fr/annuaire/page-\d+?&full=&nom=&specialites=&recherche_annuaire-submit=Ok',)), follow= True, callback='parse'),
   ). Но не работает ((
источник

E

Evgen in Scrapy
я бы порекомендовал писать css на ссылки и логику пагинации руками)
источник

S

Sergey in Scrapy
Evgen
я бы порекомендовал писать css на ссылки и логику пагинации руками)
руками я умею, но хочеться все таки понять, как Rule работает
источник

М

Мак in Scrapy
Да вроде как регулярки и работает
источник

М

Мак in Scrapy
Evgen
Рекаптча v3 это JS challenge, который выдает сайту вероятность того, что вы реальный человек
Да, так глубоко в истоки я не лез, искал решение просто
источник
2020 January 25

АД

Александр Дубовой 🇺🇦 in Scrapy
привет всем, подскажите пожалуйста как мне вызывать ссылку при работе со scrapy если у меня примерно такая конструкция html:
<div class="a">
<a href="1">text1</a>
<a href="2">text2</a>
<a href="3">
<span class="b">span_text</span>
</a>
</div>
и мне нужно отобрать ссылку в которой есть span
источник

М

Мак in Scrapy
Xpath видимо, он позволяет по оси вверх двигаться
источник

L

Lex in Scrapy
по bs4 вопрос возник
парсю ютуб ролики, нарыл статью - наковырял код - работает, но вот как - догнать не могу )))
import requests
from bs4 import BeautifulSoup as bs
import re
content = requests.get(url)
soup = bs(content.content, "html.parser")
result = {}
url = 'https://www.youtube.com/watch?v=myNoEKMuT0U'
result['views'] =  re.sub(r'[^0-9]+','' , soup.find("div", attrs={"class": "watch-view-count"}).text)
ну нет на странице класса "watch-view-count", а просмотры выдает верно )))
источник

AR

Andrey Rahmatullin in Scrapy
Смотри на страницу без джс
источник

М

Мак in Scrapy
+
источник

A

Andrés in Scrapy
Hi, is posible to use scrapy in the deep web?
источник

М

Мак in Scrapy
Yes
источник

A

Andrés in Scrapy
Any tutorial or example to use scrapy in the deep web?
источник

М

Мак in Scrapy
No
источник

М

Мак in Scrapy
Use http.proxy middelware of scrapy to choose socks proxies of tor
источник

A

Andrés in Scrapy
Ok, thank you
источник