В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 December 20

AR

Andrey Rahmatullin in Scrapy
делай аякс-запросы
источник
17:19пожаловаться#1

AR

Andrey Rahmatullin in Scrapy
если там вообще аякс, а не просто ссылки
источник
17:19пожаловаться#2

.

. in Scrapy
А селениум может работать без открытия браузера же?
источник
17:19пожаловаться#3

AR

Andrey Rahmatullin in Scrapy
селениум это и есть браузер
источник
17:19пожаловаться#4

.

. in Scrapy
Ссылок нет
источник
17:19пожаловаться#5

AR

Andrey Rahmatullin in Scrapy
просто его не всегда видно окошком
источник
17:19пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
а bs4 со скрапи не нужен
источник
17:20пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
а про питон всё ещё интересно
источник
17:20пожаловаться#8

МС

Михаил Синегубов in Scrapy
.
Ссылок нет
ссылок может и нет, но есть запросы.
через что скрпи не пролезет, так это через сокеты (ну, я так думаю)
все остальное - это именно запросы. Да, иногда раскопать что и как - дичайший гемор, и приходится взять силениюм/сплеш/етс... Но это именно иногда
источник
17:28пожаловаться#9

AR

Andrey Rahmatullin in Scrapy
вебсокеты сам скрапи пока не умеет, да, но их почти и нет в природе
источник
17:29пожаловаться#10

AR

Andrey Rahmatullin in Scrapy
а так https://docs.scrapy.org/en/latest/topics/dynamic-content.html
источник
17:30пожаловаться#11

.

. in Scrapy
ну просто селениум не нравиться из-за того, что он открывает браузер
источник
17:30пожаловаться#12

AR

Andrey Rahmatullin in Scrapy
вообще со скрапи принято юзать splash
источник
17:30пожаловаться#13

AR

Andrey Rahmatullin in Scrapy
смысл тот же
источник
17:30пожаловаться#14

.

. in Scrapy
а можете посоветовать библиотку, которая сможет и парсить, и делать переходы/клик, без открытия в браузере
источник
17:31пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
скрапи
источник
17:31пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
со сплешом
источник
17:31пожаловаться#17

АМ

Алексей Мелолян in Scrapy
.
а можете посоветовать библиотку, которая сможет и парсить, и делать переходы/клик, без открытия в браузере
При вызове браузера установи атрибут headless
источник
17:40пожаловаться#18

.

. in Scrapy
есть у меня уже
источник
17:41пожаловаться#19

.

. in Scrapy
ну вот
источник
17:41пожаловаться#20