Телеграмм чат группы scrapy_python страница 1979

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

627 membersпожаловаться на группу

2020 September 08

YB

Yaswanth Bangaru in Scrapy

Okay, let me try that

источник

00:01пожаловаться #1

AR

Andrey Rahmatullin in Scrapy

yup, reading the actual error message would be useful, as " it throws as error " 'object, got %s' % type(text).name)" " is incorrect

источник

00:02пожаловаться #2

YB

Yaswanth Bangaru in Scrapy

I used start urls with the home page so that Scrapy would fetch the cookies

источник

00:03пожаловаться #3

YB

Yaswanth Bangaru in Scrapy

Even after making everything into strings, the spider fails to fetch the right url in the second url

источник

00:04пожаловаться #4

YB

Yaswanth Bangaru in Scrapy

But thanks anyways, it solved one error

источник

00:04пожаловаться #5

i

btw FormRequest should get pretty most fields for you, you should set only fields, that you need to change.

источник

00:06пожаловаться #6

YB

Yaswanth Bangaru in Scrapy

Can you please elaborate? from my observation, value of ts key in my_data dictionary on my script changes

источник

00:08пожаловаться #7

YB

Yaswanth Bangaru in Scrapy

I believe I need to keep the formdata as it is

источник

00:09пожаловаться #8

i

You should use fromresponse

источник

00:10пожаловаться #9

YB

Yaswanth Bangaru in Scrapy

Oh, is it?

источник

00:12пожаловаться #10

YB

Yaswanth Bangaru in Scrapy

That would need a lot of changes I believe

источник

00:13пожаловаться #11

i

No, it will need less code from you, but I can't find docs yet somewhy(

источник

00:16пожаловаться #12

YB

Yaswanth Bangaru in Scrapy

But how would I get cookies if I start off with this link directly?

источник

00:16пожаловаться #13

YB

Yaswanth Bangaru in Scrapy

Because formrequest.from response needs to be passed with a response

источник

00:16пожаловаться #14

i

You should get this link, it ok, you should then call smth like fromrequest.formresponse and it will gather all other fields for you

источник

00:17пожаловаться #15

i

https://docs.scrapy.org/en/latest/topics/request-response.html#using-formrequest-from-response-to-simulate-a-user-login

источник

00:21пожаловаться #16

i

Here, you anyways need to made request for cookies, so then you pass this answer to fromresponse formrequest, and got most of needed fields and no need to set them manually. In this tutorial case there maybe a lots of fields filled by scrapy itself

источник

00:24пожаловаться #17

i

And you set only login and password

источник

00:24пожаловаться #18

YB

Yaswanth Bangaru in Scrapy

Okay, but where do I specify the xhr response json that I'm trying to download?

источник

00:25пожаловаться #19

i

https://docs.scrapy.org/en/latest/topics/request-response.html#scrapy.http.FormRequest.from_response

источник

00:26пожаловаться #20