AR
селениум это полноценный браузер, и он не для скрапинга от слова совсем
динамические страницы не значит puppeteer...
Size: a a a
2020 February 14
Т
потому что когда вставал вопрос про динамические страницы всегда уходил в селениум
динамический контент можно и руками доставать, если грамотно подойти к разбору XHR
RC
динамический контент можно и руками доставать, если грамотно подойти к разбору XHR
прикол в том, что как раз XHR на странице нет
RC
сервер рендерит страницу и пихает js
AR
это ещё проще
AR
достаёшь из страницы json, достаёшь из него все данные готовенькие
RC
достаёшь из страницы json, достаёшь из него все данные готовенькие
json'а нет. сервер полностью отдает страницу
RC
потом в динамике запускается скрипт, который доставляет остальное наполнение
AR
доставляет откуда?
МС
json'а нет. сервер полностью отдает страницу
Ну, и? Браузер то зачем?
RC
на страницу
AR
ОТКУДА
AR
не КУДА
RC
доставляет откуда?
а, из скрипта обфусцированного
AR
берёшь джс, читаешь его, воспроизводишь на питоне
RC
берёшь джс, читаешь его, воспроизводишь на питоне
всм в реверс и написать на питоне алгоритм этой функи?
AR
да
RC
боюсь там черт ногу сломит, но вот допстим https://beautifier.io/ c чеком на детект пакеров - может деобфусцировать весь джс
RC
но если смотреть на него как есть, то это мгла на много часов, если реверсить
AR
ну тогда сплэш