В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

766 membersпожаловаться на группу
2020 December 07

П

Пастырь in Scrapy
Кирилл
Или сразу давай такую страницу чтоб там были подходящие ссылки, или пиши ещё правила, чтоб довести паука до нужных страниц на которых есть нужные ссылки
Можно поподробнее?
источник
19:09пожаловаться#1

К

Кирилл in Scrapy
Или если у тебя всего одно условие просто проверять '/profiles/' in url
источник
19:09пожаловаться#2

П

Пастырь in Scrapy
Обход всех страниц с пустым правилом, верно ?
источник
19:09пожаловаться#3

П

Пастырь in Scrapy
а как реквест получить по этому урлу?
источник
19:10пожаловаться#4

К

Кирилл in Scrapy
Пастырь
Обход всех страниц с пустым правилом, верно ?
Ну, если сайт маленький и ты это можешь себе позволить, то можно и с пустым. Но лучше конечно ограничить область
источник
19:10пожаловаться#5

П

Пастырь in Scrapy
Кирилл
Ну, если сайт маленький и ты это можешь себе позволить, то можно и с пустым. Но лучше конечно ограничить область
Около 100к страниц. по другому не собрать, приходится все обходить
источник
19:10пожаловаться#6

К

Кирилл in Scrapy
Пастырь
а как реквест получить по этому урлу?
Не понял
источник
19:12пожаловаться#7

П

Пастырь in Scrapy
Вот такая сейчас примерно логика. Проверяю регуляркой нужный урл, но завтык в получении респонса по этому урлу
источник
19:12пожаловаться#8

П

Пастырь in Scrapy
респонс*
источник
19:12пожаловаться#9

К

Кирилл in Scrapy
Ты же написал что используешь rule, зачем регулярка тогда
источник
19:13пожаловаться#10

П

Пастырь in Scrapy
Кирилл
Ты же написал что используешь rule, зачем регулярка тогда
Я его не использую потому-что он не видит ссылки на глубине. По сути оно пустое
источник
19:14пожаловаться#11

S

SoHard 🎄 in Scrapy
Пастырь
Вот такая сейчас примерно логика. Проверяю регуляркой нужный урл, но завтык в получении респонса по этому урлу
зачем регулярка если  if '/profiles/' in url
источник
19:15пожаловаться#12

К

Кирилл in Scrapy
Пастырь
Вот такая сейчас примерно логика. Проверяю регуляркой нужный урл, но завтык в получении респонса по этому урлу
Ну, если тебе нужно запросить урл, то делаешь yield Request(clean_url, callback=self.some_callback)
источник
19:15пожаловаться#13

К

Кирилл in Scrapy
Не понимаю вопрос, ты про это спрашиваешь?
источник
19:16пожаловаться#14

П

Пастырь in Scrapy
😮 Точно, сахар :D
источник
19:16пожаловаться#15

П

Пастырь in Scrapy
Да, дай тебе бог здоровья! Пошел разбираться
источник
19:16пожаловаться#16

К

Кирилл in Scrapy
или response.follow(clean_url)
Просто ты такой базовый вопрос задаешь, что сложно представить что ты именно это спрашиваешь. Почитай туториал, там почти на первых страницах написано как делать запросы.
источник
19:19пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
люди с CrawlSpider всегда вопросы такого уровня задают
источник
19:19пожаловаться#18

П

Пастырь in Scrapy
check_url работает корректно, но вот колбек parse_user_data не отрабатывает :/
источник
19:35пожаловаться#19

К

Кирилл in Scrapy
а запросы есть?
источник
19:37пожаловаться#20