К
Size: a a a
2019 December 17
EB
EV
from scrapy.spiders import SitemapSpider
class PingSitemapSpider(SitemapSpider):
name = "ping_sitemaps"
BASE_URL = 'https://some-domain'
sitemap_urls = [BASE_URL + '/sitemap.xml', ]
def parse(self, response):
for _ in response.css('body'):
item = dict()
item['link'] = str(response.url)
item['status_code'] = response.status
item['download_latency'] = response.request.meta['download_latency']
yield item
EB
добавляешь туда
def sitemap_filter(self, entries):, в нем отдаешь рандомное кол-во ссылок, если это urlsetEB
if entries.type == 'urlset’К
добавляешь туда
def sitemap_filter(self, entries):, в нем отдаешь рандомное кол-во ссылок, если это urlsetсогласен
EB
return
random.choices(list(entries), k=123)EV
добавляешь туда
def sitemap_filter(self, entries):, в нем отдаешь рандомное кол-во ссылок, если это urlsetкуда? просто в спайдер. верно?
EV
return
random.choices(list(entries), k=123)и куда это там? а тоя что-то намутила уже
EV
from scrapy.spiders import SitemapSpider
class PingSitemapSpider(SitemapSpider):
name = "ping_sitemaps"
BASE_URL = 'https://some-domain'
sitemap_urls = [BASE_URL + '/sitemap.xml', ]
def parse(self, response):
for _ in response.css('body'):
item = dict()
item['link'] = str(response.url)
item['status_code'] = response.status
item['download_latency'] = response.request.meta['download_latency']
yield item
from scrapy.spiders import SitemapSpider
class PingSitemapSpider(SitemapSpider):
name = "ping_sitemaps"
BASE_URL = 'https://some-domain'
sitemap_urls = [BASE_URL + '/sitemap.xml', ]
def sitemap_filter(self, entries):
# и вот тут что-то происходит, что выплюнет уже ограниченное кол-во ссылок с каждого вложенного сайтмапа
def parse(self, response):
for _ in response.css('body'):
item = dict()
item['link'] = str(response.url)
item['status_code'] = response.status
item['download_latency'] = response.request.meta['download_latency']
yield item
EB
if entries.type == 'urlset’1
EB
return
random.choices(list(entries), k=123)2
AB
Боже в скрапи есть re_first метод это пушка🥳🥳
AB
Ну ток начал че)