Size: a a a

2020 November 05

OS

Oleg Shleiko in Scrapy
S
Всем доброго дня! Такой вопрос: при скрапинге страниц паук извлекает ссылки и добавляет в конец пробел , то есть выглядит так: /product/dlya-samyh-malenkih-2-vot-takie-pazly%20 и соответсвенно уже дальнейший переход по этой ссылке и дальнейший скрапинг не возможен ( Подскажите пожалуйста как с этим бороться !!!
у меня паук ничего не добавляет, возможно на сайте с пробелом записано
источник

A

Andrii in Scrapy
Лев Гареев
а че за пробел то?
%20
источник

ЛГ

Лев Гареев in Scrapy
а
источник

ЛГ

Лев Гареев in Scrapy
Oleg Shleiko
у меня паук ничего не добавляет, возможно на сайте с пробелом записано
+
источник

S

S in Scrapy
Oleg Shleiko
у меня паук ничего не добавляет, возможно на сайте с пробелом записано
да верно , на сайте указана ссылка с пробелом
источник

S

S in Scrapy
Andrii
.strip(), replace('%20', '')
спасибо , буду пробовать !
источник

A

Andrii in Scrapy
urllib.parse.urlparse(url)
источник

S

S in Scrapy
спасибо 👍
источник

A

AstralRomance in Scrapy
Если я хочу сделать выходные данные следующей структурой:
{
 "head_name":<str>
 "smth":<int>
 "add_info":
   {
     item1:<str>
     item2:<str>
   }
}

Мне просто вложить один Item в другой, или не выпендриваться и просто собрать два отдельных итема, которые потом обработать в пайплайне?
источник

МС

Михаил Синегубов... in Scrapy
если единичная задача - первый вариант
если строишь что-то серьезное, то, можно и со вторым заморочатся
источник

A

AstralRomance in Scrapy
Михаил Синегубов
если единичная задача - первый вариант
если строишь что-то серьезное, то, можно и со вторым заморочатся
Единичная задача с перспективой стать чем-то серьезным.
Я уже начал делать разные итемы, так что пойду до конца.
источник

A

AstralRomance in Scrapy
Там еще третий уровень вложенности будет...
источник

A

Andriy in Scrapy
https://pastebin.com/3k70RsMw   Почему выдает html без таблицы?
источник

S

SoHard 🎄 in Scrapy
Andriy
https://pastebin.com/3k70RsMw   Почему выдает html без таблицы?
очень интересно но ничего не понятно
источник

A

Andriy in Scrapy
SoHard 🎄
очень интересно но ничего не понятно
источник

A

Andriy in Scrapy
Получаю html страницы, но там нету этой таблицы
источник

AR

Andrey Rahmatullin in Scrapy
лол, а вьюстейт кто будет передавать
источник

AR

Andrey Rahmatullin in Scrapy
как оно без вьюстейта-то обработает запрос
источник

S

SoHard 🎄 in Scrapy
как заткнуть селениуму в scrapy-selenium рот?
[1105/184402.438:INFO:CONSOLE(1)]  .....
всю консоль заспамливает
источник

S

SoHard 🎄 in Scrapy
это я так понял логи из консоли браузера
источник