Телеграмм чат группы scrapy

Привет! кто-нибудь может показать на элементарном примере, как получить html код страницы с сайта whoscored.com? дело в том, что я не знаком с Scrapy.

источник

09:40пожаловаться #6

Tim Tim in Scrapy

что ты собираешься делать с полученым html ?

источник

09:42пожаловаться #7

Tim Tim in Scrapy

извлекать таблицы ?

источник

09:43пожаловаться #8

Tim Tim in Scrapy

Тогда просто загрузи страницу scrapy shell whoscored.com

источник

09:44пожаловаться #9

Cote D'azur in Scrapy

Tim Tim

извлекать таблицы ?

ну пусть таблицы, или статистику по игрокам

источник

09:44пожаловаться #10

Tim Tim in Scrapy

дальше работай с терминале

источник

09:44пожаловаться #11

Cote D'azur in Scrapy

Tim Tim

Тогда просто загрузи страницу scrapy shell whoscored.com

попробую, спасибо

источник

09:45пожаловаться #12

Мак in Scrapy

Tim Tim

Привет. Подскажите пожалуйста - как можно достать value из a/@title ?

response.css('.name>a::attr(title)').get()

источник

11:14пожаловаться #13

Tim Tim in Scrapy

Мак

response.css('.name>a::attr(title)').get()

👌 все гут. Получилось. Спасибо 🤝

источник

11:22пожаловаться #14

Ivan in Scrapy

Elisei Badanin

https://rsocks.net/shared-proxy — думаю этих затестить, можнт кто-то пробовал?

привет. тестил прокси?

источник

11:45пожаловаться #15

Elisei Badanin in Scrapy

Ещё нет

источник

15:58пожаловаться #16

Ivan in Scrapy

я вообще в ужасе от сайта comfy ua. блочит жестко.

источник

19:11пожаловаться #17

Ivan in Scrapy

пытаюсь спарсить наличие товаров в магазинах. 58 городов, выбранный город запоминается в cookies, если с разных ip собирать, то блочат. т.к. куки те же, на 20 товаров за 5 часов, 30 прокси, потом блок. собрать нужно 500. пока спарсишь данные не актуальны т.к. дня 4 собираться будут.

источник

19:17пожаловаться #18

Evgen in Scrapy

Там вроде инкапсула, которубю можно сплэшом отрендерить

источник

19:58пожаловаться #19

Evgen in Scrapy

или через puppeteer

источник

19:58пожаловаться #20