Телеграмм чат группы scrapy

либо вы опять путаете данные и их представление

import json#the same json string as in https://pastebin.com/Mn5yZM7idata = " - Pastebin.com

00:02пожаловаться #1

Georgiy in Scrapy

https://pastebin.com/9vFL7kfQ
Единственное, что пришло в голову:
1.взять из исключения позицию в строке где обнаружен json.decoder.JSONDecodeError
2.если где то рядом есть " - то заменить на '.
3.запустить json.loads с измененной строкой
повторять пункты 1-3 в цикле пока не получим dict.

Pastebin

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

00:32пожаловаться #2

Andrii in Scrapy

Кстати тож проблема с ДЖЕЙСОНОМ, не могу загрузить https://www.1800contacts.com/api/content/FAQs

10:56пожаловаться #3

ПА

Подскажите, а каким способом делается замена в item с помощью regex? Аналог .replace только с использованием regex

Подскажите, а каким способом делается замена в item с помощью regex? Аналог .replace только с использованием regex

Замена чего?

11:06пожаловаться #5

ПА

Например из текста <p.*?> на <p> и т.д. Ну это как пример.

11:07пожаловаться #6

EFS in Scrapy

Павел Асеев

Подскажите, а каким способом делается замена в item с помощью regex? Аналог .replace только с использованием regex

.sub

11:08пожаловаться #7

i in Scrapy

Andrii

Кстати тож проблема с ДЖЕЙСОНОМ, не могу загрузить https://www.1800contacts.com/api/content/FAQs

ощущение, что там и не json, или я просто что-то не знаю про интернет

11:08пожаловаться #8

ПА

EFS

.sub

Спасибо огромное.

11:09пожаловаться #9

Кирилл in Scrapy

re.sub делает реплейс по регулярке https://docs.python.org/3/library/re.html#re.sub
Но если ты работаешь с html то лучше использовать инструменты для html

11:09пожаловаться #10

i in Scrapy

Andrii

Кстати тож проблема с ДЖЕЙСОНОМ, не могу загрузить https://www.1800contacts.com/api/content/FAQs

какой-то xml что-ли https://i.imgur.com/UuD3pCs.png

11:09пожаловаться #11

ну вы жжоте

11:11пожаловаться #12

i in Scrapy

кек

11:13пожаловаться #13

ПА

Кирилл

Какие инструменты для HTML?

11:13пожаловаться #14

Andrii

Кстати тож проблема с ДЖЕЙСОНОМ, не могу загрузить https://www.1800contacts.com/api/content/FAQs

а как ты его из хмл выковыривал?

11:15пожаловаться #15

Кирилл in Scrapy

Павел Асеев

Какие инструменты для HTML?

Например lxml или bs4

11:16пожаловаться #16

i in Scrapy

как он нинаю. я так выковырял навскидку:
z = xmltodict.parse(response.text, process_namespaces=False)
j = json.loads(z['ContentDetails']['Content'])
print(j)

11:16пожаловаться #17

ну вот, а он видимо регексами

11:17пожаловаться #18

Andrii in Scrapy

Andrey Rahmatullin

а как ты его из хмл выковыривал?

Regex'om

11:17пожаловаться #19

ну я и говорю