В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

387 membersпожаловаться на группу
2020 February 10

Y

Yurii in Scrapy
Как в body запрос пихать кортеж? В либе requests прям так пихаю и норм а со Scrapy что-то не получается params = (
   ('fields[locale]', 'simple_english_title'),
   ('ref', 'home'),
   ('src', 'ukw'),
   ('q', 'php'),
   ('p', '3'),
)
источник
13:53пожаловаться#1

AR

Andrey Rahmatullin in Scrapy
Никак, надо понять что на самом деле шлется из requests
источник
13:54пожаловаться#2

Y

Yurii in Scrapy
Ну из этих данных ссылку формирует, но при это ответ идет не в виде json а в виде html с неполными данными. А если эти параметры кидаю через реквестс либу то получаю все необходимые данные в виде json.
источник
13:57пожаловаться#3

Y

Yurii in Scrapy
Может я чего-то не догоняю конечно.
источник
13:59пожаловаться#4

МС

Михаил Синегубов in Scrapy
Yurii
Может я чего-то не догоняю конечно.
тебе куда надо совать? В FormRequest или в Reques, или JsonRequest?
и тот и другой, Cintent-Type правильный передаешь?
источник
14:07пожаловаться#5

МС

Михаил Синегубов in Scrapy
и, насколько я знаю, отправляется словарь, а не кортеж.....
источник
14:08пожаловаться#6

Y

Yurii in Scrapy
Михаил Синегубов
тебе куда надо совать? В FormRequest или в Reques, или JsonRequest?
и тот и другой, Cintent-Type правильный передаешь?
в реквест get запрос
источник
14:11пожаловаться#7

МС

Михаил Синегубов in Scrapy
ммм, а разве при GET тело проверяестя?
источник
14:12пожаловаться#8

Y

Yurii in Scrapy
Михаил Синегубов
ммм, а разве при GET тело проверяестя?
ну я и говорю мб просто ссылку формирует, но когда без параметров отправляю уже готовой ссылкой ответ идет в виде неполных данных, не знаю в чем прикол
источник
14:13пожаловаться#9

МС

Михаил Синегубов in Scrapy
и, вопрос что именно надо отправить. Может form-urlencoded, модет json, может plain.
источник
14:13пожаловаться#10

МС

Михаил Синегубов in Scrapy
Yurii
ну я и говорю мб просто ссылку формирует, но когда без параметров отправляю уже готовой ссылкой ответ идет в виде неполных данных, не знаю в чем прикол
так может глянешь что сайт шлет? :)
ссылку в личку дай, если данные открыты, или сюда выложи
источник
14:14пожаловаться#11

AR

Andrey Rahmatullin in Scrapy
Yurii
Ну из этих данных ссылку формирует, но при это ответ идет не в виде json а в виде html с неполными данными. А если эти параметры кидаю через реквестс либу то получаю все необходимые данные в виде json.
ещё раз: надо понимать, что шлётся в проводе. исходя из этого смотреть, как это слать из скрапи
источник
14:22пожаловаться#12

EV

Elena V in Scrapy
Andrey Rahmatullin
ещё раз: надо понимать, что шлётся в проводе. исходя из этого смотреть, как это слать из скрапи
В проводе. Провода сразу представила
источник
14:37пожаловаться#13

A

Andrii in Scrapy
Вопрос. Как сделать, если на 20 странице scrapy не находит xpath чтобы просто пропустило, а не выбило ошибкой --> пример megaball = lottery.xpath ( './ a / div [1] / div [1] / p [3] / text ()' ) .get () [1:20]
TypeError: "NoneType 'object is not subscriptable
источник
20:11пожаловаться#14

М

Мак in Scrapy
try except
источник
20:12пожаловаться#15

iz

izzz zzi in Scrapy
Andrii
Вопрос. Как сделать, если на 20 странице scrapy не находит xpath чтобы просто пропустило, а не выбило ошибкой --> пример megaball = lottery.xpath ( './ a / div [1] / div [1] / p [3] / text ()' ) .get () [1:20]
TypeError: "NoneType 'object is not subscriptable
if response.xpath():
источник
20:19пожаловаться#16

A

Andrii in Scrapy
спасибо
источник
20:46пожаловаться#17

S

Sergey in Scrapy
как логгировать requests запросы полностью с телом?
что-то не гуглится
источник
20:48пожаловаться#18

iz

izzz zzi in Scrapy
Sergey
как логгировать requests запросы полностью с телом?
что-то не гуглится
logger ?
источник
20:49пожаловаться#19

S

Sergey in Scrapy
izzz zzi
logger ?
это без тела ответа
источник
20:49пожаловаться#20