В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

627 membersпожаловаться на группу
2020 September 13

МП

Максим Петров... in Scrapy
.strip()
источник
15:52пожаловаться#1

S

SoHard 🎄 in Scrapy
Максим Петров
.strip()
что
источник
15:55пожаловаться#2

S

SoHard 🎄 in Scrapy
Фара
Здравствуйте , подскажите пожалуйста как очистить json данные от html тэгов?
а что в json делают тэги?
источник
15:55пожаловаться#3

МП

Максим Петров... in Scrapy
источник
15:57пожаловаться#4

Ф

Фара in Scrapy
стрип не работает
источник
15:57пожаловаться#5

S

SoHard 🎄 in Scrapy
Фара
стрип не работает
конечно не работает
источник
15:57пожаловаться#6

S

SoHard 🎄 in Scrapy
https://pypi.org/project/html2text/
PyPI
html2text
Turn HTML into equivalent Markdown-structured text.
источник
15:58пожаловаться#7

Ф

Фара in Scrapy
да вот результат выходит с тегами сам не понимаю почему
источник
15:58пожаловаться#8

S

SoHard 🎄 in Scrapy
вот этим удобно
источник
15:58пожаловаться#9

К

Кирилл in Scrapy
https://w3lib.readthedocs.io/en/latest/w3lib.html#w3lib.html.remove_tags
источник
15:59пожаловаться#10

S

SoHard 🎄 in Scrapy
SoHard 🎄
https://pypi.org/project/html2text/
PyPI
html2text
Turn HTML into equivalent Markdown-structured text.
он форматирование оставляет, да и ссылки тоже
источник
15:59пожаловаться#11

Ф

Фара in Scrapy
спасибо всем пойду почитаю применю
источник
15:59пожаловаться#12

Ф

Фара in Scrapy
Кирилл
https://w3lib.readthedocs.io/en/latest/w3lib.html#w3lib.html.remove_tags
попробовал это помогло, но остались &quotы и &nbspы(
источник
16:06пожаловаться#13

К

Кирилл in Scrapy
Это не тэги
источник
16:06пожаловаться#14

К

Кирилл in Scrapy
https://w3lib.readthedocs.io/en/latest/w3lib.html#w3lib.html.replace_entities
источник
16:07пожаловаться#15

Ф

Фара in Scrapy
Кирилл
https://w3lib.readthedocs.io/en/latest/w3lib.html#w3lib.html.replace_entities
точно! теперь только дочитал  , спасибо!
источник
16:09пожаловаться#16

A

Alex in Scrapy
есть функция
def parse(self, response):
 links = response.css('#body-container > div > div > div.clr.site-map a ::attr(href)').getall()
 for page in links:
   yield scrapy.Request(page, callback = self.parse_page)
в переменной links 100 ссылок
я ожидаю, что цикл будет передавать по одному значению в функцию parse_page ссылку и функция уже будет обрабатывать эту ссылку
поставил принт перед yield - и вижу что вываливается содержимое всей переменной links
почему так?
источник
16:15пожаловаться#17

A

Alex in Scrapy
норма это или не норма))
источник
16:18пожаловаться#18

S

SoHard 🎄 in Scrapy
 for page in links:
   yield scrapy.Request(page, callback = self.parse_page)
равно
response.follow_all(links, callback...
источник
16:18пожаловаться#19

S

SoHard 🎄 in Scrapy
можешь цикл не писать
источник
16:19пожаловаться#20