В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

684 membersпожаловаться на группу
2020 November 05

OS

Oleg Shleiko in Scrapy
S
Всем доброго дня! Такой вопрос: при скрапинге страниц паук извлекает ссылки и добавляет в конец пробел , то есть выглядит так: /product/dlya-samyh-malenkih-2-vot-takie-pazly%20 и соответсвенно уже дальнейший переход по этой ссылке и дальнейший скрапинг не возможен ( Подскажите пожалуйста как с этим бороться !!!
у меня паук ничего не добавляет, возможно на сайте с пробелом записано
источник
14:58пожаловаться#1

A

Andrii in Scrapy
Лев Гареев
а че за пробел то?
%20
источник
14:58пожаловаться#2

ЛГ

Лев Гареев in Scrapy
а
источник
14:58пожаловаться#3

ЛГ

Лев Гареев in Scrapy
Oleg Shleiko
у меня паук ничего не добавляет, возможно на сайте с пробелом записано
+
источник
14:58пожаловаться#4

S

S in Scrapy
Oleg Shleiko
у меня паук ничего не добавляет, возможно на сайте с пробелом записано
да верно , на сайте указана ссылка с пробелом
источник
14:58пожаловаться#5

S

S in Scrapy
Andrii
.strip(), replace('%20', '')
спасибо , буду пробовать !
источник
15:00пожаловаться#6

A

Andrii in Scrapy
urllib.parse.urlparse(url)
источник
15:02пожаловаться#7

S

S in Scrapy
спасибо 👍
источник
15:06пожаловаться#8

A

AstralRomance in Scrapy
Если я хочу сделать выходные данные следующей структурой:
{
  "head_name":<str>
  "smth":<int>
  "add_info":
    {
      item1:<str>
      item2:<str>
    }
}

Мне просто вложить один Item в другой, или не выпендриваться и просто собрать два отдельных итема, которые потом обработать в пайплайне?
источник
19:38пожаловаться#9

МС

Михаил Синегубов... in Scrapy
если единичная задача - первый вариант
если строишь что-то серьезное, то, можно и со вторым заморочатся
источник
19:40пожаловаться#10

A

AstralRomance in Scrapy
Михаил Синегубов
если единичная задача - первый вариант
если строишь что-то серьезное, то, можно и со вторым заморочатся
Единичная задача с перспективой стать чем-то серьезным.
Я уже начал делать разные итемы, так что пойду до конца.
источник
19:41пожаловаться#11

A

AstralRomance in Scrapy
Там еще третий уровень вложенности будет...
источник
19:43пожаловаться#12

A

Andriy in Scrapy
https://pastebin.com/3k70RsMw   Почему выдает html без таблицы?
источник
19:45пожаловаться#13

S

SoHard 🎄 in Scrapy
Andriy
https://pastebin.com/3k70RsMw   Почему выдает html без таблицы?
очень интересно но ничего не понятно
источник
19:47пожаловаться#14

A

Andriy in Scrapy
SoHard 🎄
очень интересно но ничего не понятно
источник
19:48пожаловаться#15

A

Andriy in Scrapy
Получаю html страницы, но там нету этой таблицы
источник
19:48пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
лол, а вьюстейт кто будет передавать
источник
19:48пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
как оно без вьюстейта-то обработает запрос
источник
19:49пожаловаться#18

S

SoHard 🎄 in Scrapy
как заткнуть селениуму в scrapy-selenium рот?
[1105/184402.438:INFO:CONSOLE(1)]  .....
всю консоль заспамливает
источник
19:49пожаловаться#19

S

SoHard 🎄 in Scrapy
это я так понял логи из консоли браузера
источник
19:52пожаловаться#20