В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 December 17

К

Кирилл in Scrapy
Elena V
Есть сайтмап, состоящий из других сайтмапов.
У меня есть спайдер, который бегает по всем этим вложенным сайтмапам и дергает ссылки все.

он наследуется от SitemapSpider. все работает. все ок.

тут вопрос. а если мне из вложенного сайтмапа каждого нужно брать не ВСЕ, а парочку рандомных? как лучше сделать?
Это не самая простая задача)
источник
16:11пожаловаться#1

EB

Elisei Badanin in Scrapy
переопределить “деф парс()” и отдавать рандомные реквесты, что там сложного?)
источник
16:12пожаловаться#2

EV

Elena V in Scrapy
ну вот если бы она была простой для меня - сда не спрашивала бы :) есть воспитанная привычка погуглить, почитать доку, потом задать вопрос 😁 вот ищу совета
источник
16:12пожаловаться#3

EB

Elisei Badanin in Scrapy
точнее это def _parse_sitemap(self, response)
источник
16:13пожаловаться#4

EB

Elisei Badanin in Scrapy
хотя нет, там все еще проще….
источник
16:14пожаловаться#5

EB

Elisei Badanin in Scrapy
def sitemap_filter(self, entries):
       """This method can be used to filter sitemap entries by their
       attributes, for example, you can filter locs with lastmod greater
       than a given date (see docs).
       """
       for entry in entries:
           yield entry
источник
16:14пожаловаться#6

К

Кирилл in Scrapy
Переопредели метод _parse_sitemap, скопируй оттуда всё, потом добавь после после определения it = (на строке 53, если соурс читать), возьми рандомные числа и сделай слайс итератора из itertools.islice
источник
16:14пожаловаться#7

EB

Elisei Badanin in Scrapy
зачем копировать? super()._parse_sitemap
источник
16:15пожаловаться#8

EB

Elisei Badanin in Scrapy
оно вернет генератор
источник
16:15пожаловаться#9

К

Кирилл in Scrapy
потому что вмешаться нужно, а не наследовать
источник
16:15пожаловаться#10

EB

Elisei Badanin in Scrapy
из него берем рандомные и отдаем дальше
источник
16:15пожаловаться#11

К

Кирилл in Scrapy
нет, он йелдит и под сайтмапы и ссылки
источник
16:16пожаловаться#12

EB

Elisei Badanin in Scrapy
смысл говнокодить, если в питоне прекрасный ооп
источник
16:16пожаловаться#13

К

Кирилл in Scrapy
там и то и то
источник
16:16пожаловаться#14

EB

Elisei Badanin in Scrapy
Ну там уже и смотреть что он вернул итд
источник
16:16пожаловаться#15

EV

Elena V in Scrapy
не уверенна, что поняла что делать. что бы я без вас делала. щас пойду попробую, что-то полюбому налыгнется, ибо я этот _parse_sitemap в глаза не видела. 😊
источник
16:17пожаловаться#16

К

Кирилл in Scrapy
т.е. думаешь лучше проитерироваться через десятки тысяч ссылок, чтоб выдергивать только несколько?)
источник
16:17пожаловаться#17

EB

Elisei Badanin in Scrapy
правильнее — да
источник
16:17пожаловаться#18

EB

Elisei Badanin in Scrapy
а что плохого в том, тобы проитерироваться?
источник
16:17пожаловаться#19

EB

Elisei Badanin in Scrapy
иначе завтра скрапи обновят, и копипастный код превратится в тыкву
источник
16:18пожаловаться#20