Телеграмм чат группы scrapy

2020 January 25

М

Мак in Scrapy

Andrés

Ok, thank you

Try polipo

источник

18:18пожаловаться #1

L

Lex in Scrapy

Andrey Rahmatullin

Смотри на страницу без джс

ну так-то да, вы были правы..

источник

18:47пожаловаться #2

L

Lex in Scrapy

Ютубом занимался кто-нибудь? С канала больше 60 видео не вытянуть - остальное через js подгружается, не хочется через selenium делать, ключа тоже нет для апишки. Может какие варианты есть? ))

источник

18:49пожаловаться #3

iz

izzz zzi in Scrapy

splash ?

источник

18:56пожаловаться #4

АП

Агент Печенька in Scrapy

Lex

Ютубом занимался кто-нибудь? С канала больше 60 видео не вытянуть - остальное через js подгружается, не хочется через selenium делать, ключа тоже нет для апишки. Может какие варианты есть? ))

YouTube-dl либа есть.

источник

20:21пожаловаться #5

L

Lex in Scrapy

Агент Печенька

YouTube-dl либа есть.

она с каналами не работает

источник

20:24пожаловаться #6

Q

Qwelcer in Scrapy

Ребята, у button с каждым обновлением страницы меняется id. К чему можно привязаться чтобы отследить точное срабатывание button и появления вместо '#' в href - ссылки? (BeautifulSoup 4)

источник

22:36пожаловаться #7

МС

Михаил Синегубов in Scrapy

Местами, а чё

источник

22:37пожаловаться #8

2020 January 26

EV

Elena V in Scrapy

У тебя есть объект с классом .btn-info

источник

00:36пожаловаться #9

EV

Elena V in Scrapy

Проверь не уникален ли клас

источник

00:37пожаловаться #10

EV

Elena V in Scrapy

Проверяй ссылку внутри

источник

00:37пожаловаться #11

EV

Elena V in Scrapy

Проверять можно в консольке, посмотри сколько объектов вернётся

источник

00:37пожаловаться #12

EV

Elena V in Scrapy

Так же есть текст. По нему можно селектор

button[data-liading-text="Generating"]

источник

00:38пожаловаться #13

EV

Elena V in Scrapy

CSS selector этот тоже проверь на уникальность на странице

источник

00:38пожаловаться #14

EV

Elena V in Scrapy

Ну а так же есть текст самой ссылки:) тега "а"

источник

00:40пожаловаться #15

EV

Elena V in Scrapy

By_link_text какое-то должно быть

источник

00:40пожаловаться #16

EV

Elena V in Scrapy

Но ссылка display none видимо будет до тех пор, пока реф сам не появится. Может не сработать. Проверь лучше первых два варианта

источник

00:41пожаловаться #17

Q

Qwelcer in Scrapy

Elena V

Но ссылка display none видимо будет до тех пор, пока реф сам не появится. Может не сработать. Проверь лучше первых два варианта

Спасибо за развернутый ответ, тут с BS4 не получается, у него нет имитации клика по button.. Там нужен клик на button чтобы ссылка <a href="#"> - сгенерировалась, а через requests не смогу - как я посмотрел слишком много данных отправляется по AJAX, и код обфусцирован как мне кажется, гляну другой сервис по скачке APK.. Спасибо)

источник

01:26пожаловаться #18

l

linuxoid in Scrapy

Qwelcer

Спасибо за развернутый ответ, тут с BS4 не получается, у него нет имитации клика по button.. Там нужен клик на button чтобы ссылка <a href="#"> - сгенерировалась, а через requests не смогу - как я посмотрел слишком много данных отправляется по AJAX, и код обфусцирован как мне кажется, гляну другой сервис по скачке APK.. Спасибо)

selenium

источник

01:45пожаловаться #19

Q

Qwelcer in Scrapy

linuxoid

selenium

Спасибо, сейчас гляну)

источник

02:02пожаловаться #20