Size: a a a

2020 February 14

AR

Andrey Rahmatullin in Scrapy
Технопёс
селениум это полноценный браузер, и он не для скрапинга от слова совсем
динамические страницы не значит puppeteer...
источник

Т

Технопёс in Scrapy
Ruslan Chernenko
потому что когда вставал вопрос про динамические страницы всегда уходил в селениум
динамический контент можно и руками доставать, если грамотно подойти к разбору XHR
источник

RC

Ruslan Chernenko in Scrapy
Технопёс
динамический контент можно и руками доставать, если грамотно подойти к разбору XHR
прикол в том, что как раз XHR на странице нет
источник

RC

Ruslan Chernenko in Scrapy
сервер рендерит страницу и пихает js
источник

AR

Andrey Rahmatullin in Scrapy
это ещё проще
источник

AR

Andrey Rahmatullin in Scrapy
достаёшь из страницы json, достаёшь из него все данные готовенькие
источник

RC

Ruslan Chernenko in Scrapy
Andrey Rahmatullin
достаёшь из страницы json, достаёшь из него все данные готовенькие
json'а нет. сервер полностью отдает страницу
источник

RC

Ruslan Chernenko in Scrapy
потом в динамике запускается скрипт, который доставляет остальное наполнение
источник

AR

Andrey Rahmatullin in Scrapy
доставляет откуда?
источник

МС

Михаил Синегубов in Scrapy
Ruslan Chernenko
json'а нет. сервер полностью отдает страницу
Ну, и? Браузер то зачем?
источник

RC

Ruslan Chernenko in Scrapy
на страницу
источник

AR

Andrey Rahmatullin in Scrapy
ОТКУДА
источник

AR

Andrey Rahmatullin in Scrapy
не КУДА
источник

RC

Ruslan Chernenko in Scrapy
Andrey Rahmatullin
доставляет откуда?
а, из скрипта обфусцированного
источник

AR

Andrey Rahmatullin in Scrapy
берёшь джс, читаешь его, воспроизводишь на питоне
источник

RC

Ruslan Chernenko in Scrapy
Andrey Rahmatullin
берёшь джс, читаешь его, воспроизводишь на питоне
всм в реверс и написать на питоне алгоритм этой функи?
источник

AR

Andrey Rahmatullin in Scrapy
да
источник

RC

Ruslan Chernenko in Scrapy
боюсь там черт ногу сломит, но вот допстим https://beautifier.io/ c чеком на детект пакеров - может деобфусцировать весь джс
источник

RC

Ruslan Chernenko in Scrapy
но если смотреть на него как есть, то это мгла на много часов, если реверсить
источник

AR

Andrey Rahmatullin in Scrapy
ну тогда сплэш
источник