Телеграмм чат группы scrapy_python страница 1883

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

582 membersпожаловаться на группу

2020 August 06

MH

Mohamed Ali Habib in Scrapy

They were crawled not scraped and some of them weren't even crawled.
I'm new to Scrapy but I wrote the code while implementing the documentation guides, that's why i'm asking to see whether it's something common with Scrapy to skip urls or it's my code because I noticed quite a few simliar questions on Stackoverflow and Reddit.
Thanks for your answers man @wrar42

источник

21:48пожаловаться #1

AR

Andrey Rahmatullin in Scrapy

there is quite a few similar questions because people don't know how to examine what did the spider actually do

источник

21:49пожаловаться #2

KS

Kirill Sosnovskii in Scrapy

Andrey Rahmatullin

Переслано от Andrey Rahmatullin

:not смотри

да что not смотри, мне нужно выбрать родительский li, внутри которых нет таких-то дочерних элементов. Я не вижу способа сделать это через not

источник

22:01пожаловаться #3

AR

Andrey Rahmatullin in Scrapy

изначально вопрос был сформулирован иначе

источник

22:01пожаловаться #4

KS

Kirill Sosnovskii in Scrapy

Переслано от Kirill Sosnovskii

как выбрать все <li> такого-то класса, внутри которых есть <a>, href которого НЕ равен такому-то урлу?

источник

22:02пожаловаться #5

KS

Kirill Sosnovskii in Scrapy

Переслано от Kirill Sosnovskii

<li class='qwe'>
<a href='asd'>выбрать родительский li</a>
<li class='qwe'>
<a href='asd'>и этот</a>
<li class='qwe'>
<a href='zxc'>исключить родительский li</a>

источник

22:02пожаловаться #6

AR

Andrey Rahmatullin in Scrapy

если "нет таких-то дочерних элементов" то циклом, или может быть xpath с count()

источник

22:02пожаловаться #7

AR

Andrey Rahmatullin in Scrapy

Kirill Sosnovskii

Переслано от Kirill Sosnovskii

как выбрать все <li> такого-то класса, внутри которых есть <a>, href которого НЕ равен такому-то урлу?

ага, именно, href которого НЕ равен такому-то урлу?

источник

22:02пожаловаться #8

AR

Andrey Rahmatullin in Scrapy

:not(href равен такому-то урлу)

источник

22:02пожаловаться #9

KS

Kirill Sosnovskii in Scrapy

так нужно li выбрать, а не <a>

источник

22:03пожаловаться #10

AR

Andrey Rahmatullin in Scrapy

XPath

источник

22:05пожаловаться #11

SM

Sereja M in Scrapy

Ребята, подскажите, пожалуйста, можно ли использовать локальные инстансы сплэша с кравлерой?

источник

22:46пожаловаться #12

AS

Alexander Serebrov in Scrapy

Можно 🤔

источник

22:48пожаловаться #13

Ф

Фара in Scrapy

Кто нибудь пользовался xevilом ?
К нему можно привязать питоновский скрипт ?

источник

23:14пожаловаться #14

2020 August 07

KS

Kirill Sosnovskii in Scrapy

как повторить этот функционал в scrapy:

requests.get(base_url, params=params)

То есть, сформировать урл в гет запросе из base_url и дикта.

источник

02:12пожаловаться #15

B

Bulatbulat48 in Scrapy

Kirill Sosnovskii

как повторить этот функционал в scrapy:

requests.get(base_url, params=params)

То есть, сформировать урл в гет запросе из base_url и дикта.

FormRequest

источник

06:17пожаловаться #16

P

Petr in Scrapy

Доброе утро. Регулярки для кадастровых номеров не найдётся?

источник

08:48пожаловаться #17

S

Serhii in Scrapy

Petr

Доброе утро. Регулярки для кадастровых номеров не найдётся?

А как они выглядят? Эти номера? Можно пример?

источник

09:55пожаловаться #18

P

Petr in Scrapy

13:19:0202001:53

источник

09:57пожаловаться #19

МС

Михаил Синегубов... in Scrapy

https://ru.wikipedia.org/wiki/%D0%9A%D0%B0%D0%B4%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B2%D1%8B%D0%B9_%D0%BD%D0%BE%D0%BC%D0%B5%D1%80

@MazurokPetr - я все, конечно, понимаю. Но, хоть чуток, надо же мозгами шевелить... Формат достаточно сильно захардкорен, что бы понять как написать регулярку достаточно пол часика почитать статейки по регуляркам

Кадастровый номер

Када́стровый но́мер — уникальный номер объекта недвижимости, присваиваемый ему при осуществлении кадастрового и технического учёта.

источник

10:04пожаловаться #20