КБ
и как парсить так, чтобы парсил только ту инфу, где есть ключевое слово
Size: a a a
2019 November 07
КБ
КБ
типо регулярки использовать скрапи
КБ
C
а где можно найти пример паука, который бы в реальном времени без остановки парсил..?
While true или стейтмашина
C
и как парсить так, чтобы парсил только ту инфу, где есть ключевое слово
If 'ключевое слово' in data:
C
Главное чтоб data была строкой
КБ
я думала, если пишу -о то в файл записывает все, не совсем понятно куда ставить это условие if
КБ
мне понравился этот паук:
from scrapy.spiders import SitemapSpider
class AppleSpider(SitemapSpider):
name = 'apple-spider'
sitemap_urls = ['http://www.apple.com/sitemap.xml']
def parse(self, response):
yield {
'title': response.css("title ::text").extract_first(),
'url': response.url
}
# ...
https://blog.scrapinghub.com/2016/02/24/scrapy-tips-from-the-pros-february-2016-edition
from scrapy.spiders import SitemapSpider
class AppleSpider(SitemapSpider):
name = 'apple-spider'
sitemap_urls = ['http://www.apple.com/sitemap.xml']
def parse(self, response):
yield {
'title': response.css("title ::text").extract_first(),
'url': response.url
}
# ...
https://blog.scrapinghub.com/2016/02/24/scrapy-tips-from-the-pros-february-2016-edition
КБ
и как найти путь к файлу sitemaps интересующего меня сайта?
КБ
например: https://www.drugs.com/
МС
например: https://www.drugs.com/
https://www.drugs.com/ -> https://www.drugs.com/robots.txt -> Sitemap: https://www.drugs.com/sitemap_index.xml.gz
я хз, умеет ли скрапи по таким сайтмапам ходить. Там внутри пачка ссылок на части сайтмапов. Это когда много страниц - делят на части
я хз, умеет ли скрапи по таким сайтмапам ходить. Там внутри пачка ссылок на части сайтмапов. Это когда много страниц - делят на части
МС
мне понравился этот паук:
from scrapy.spiders import SitemapSpider
class AppleSpider(SitemapSpider):
name = 'apple-spider'
sitemap_urls = ['http://www.apple.com/sitemap.xml']
def parse(self, response):
yield {
'title': response.css("title ::text").extract_first(),
'url': response.url
}
# ...
https://blog.scrapinghub.com/2016/02/24/scrapy-tips-from-the-pros-february-2016-edition
from scrapy.spiders import SitemapSpider
class AppleSpider(SitemapSpider):
name = 'apple-spider'
sitemap_urls = ['http://www.apple.com/sitemap.xml']
def parse(self, response):
yield {
'title': response.css("title ::text").extract_first(),
'url': response.url
}
# ...
https://blog.scrapinghub.com/2016/02/24/scrapy-tips-from-the-pros-february-2016-edition
а как оно должно " не все совать?", надо сделать примерно так:
это примерно.
И, блин, переименуйся уже, а то кажестя что пишет мальчик альтернативной ориентации...
def parse(self, response):
if "чего то, что должно быть в тексте" in response.text:
yield {
'title': response.css("title ::text").extract_first(),
'url': response.url
}
это примерно.
И, блин, переименуйся уже, а то кажестя что пишет мальчик альтернативной ориентации...
К
https://www.drugs.com/ -> https://www.drugs.com/robots.txt -> Sitemap: https://www.drugs.com/sitemap_index.xml.gz
я хз, умеет ли скрапи по таким сайтмапам ходить. Там внутри пачка ссылок на части сайтмапов. Это когда много страниц - делят на части
я хз, умеет ли скрапи по таким сайтмапам ходить. Там внутри пачка ссылок на части сайтмапов. Это когда много страниц - делят на части
Вроде умеет
КБ
Отдам молодому человеку его аккаунт обратно и заведу себе свой аккаунт , ну только чуть позже, никак руки не доходят
МС
Народ, подскажите как в сплеше правильно хедеры передавать, а то при пагинации страницы перестают рендериться...
наиглупейший вопрос - а точно сплеш нужен?