SB
Это на node?
Size: a a a
2019 July 27
SB
Хм, посмотрю, спс.
SB
А оно умеет претворяться хромом или любым другим "настоящим" браузером? Не то чтобы это было 100% нужно, но может быть
AM
phantomjs :)
О не умер ещё?
SS
что-то детектируется существенное отклонение от тематики чата.
есть спецчаты для политоты, не надо привлекать сюда товарища майора, у него много действительно важных дел
есть спецчаты для политоты, не надо привлекать сюда товарища майора, у него много действительно важных дел
Майор сейчас митингом в Москве занят
SB
phantomjs :)
«Using QtWebKit as the back-end...»
Ух. Node.js+Qt что может пойти не так с этой технологией
Ух. Node.js+Qt что может пойти не так с этой технологией
SA
О не умер ещё?
Помер
in
А какую тулу лучше всего использовать чтоб залогиниться на сайт, перейти по конкретной ссылке и сохранить html? Нужно только headless, в консоле, без окон.
Selenium? Scrapy?
Selenium? Scrapy?
curl?
AM
curl?
Думаю надо чтобы js интерпретировало.
SA
В подавляющем большинстве случаев ничего интерпретировать не нужно)
SA
Короч, берите Скрапи
SA
Сколько раз эта тема всплывает, ответ не меняется)
KK
В простом случае хватит и requests, если не надо массово в 100 потоков сливать содержимое сайта
SA
Скрапи в использовании — простой, как тапок. Реквестс тоже хватит, но если придется делать обход сайта, то придётся делать много того, чего со Скрапи делать не придётся.
Паук на Скрапи — скорее про логику обхода и сериализации результатов, чем про 100 потоков
Паук на Скрапи — скорее про логику обхода и сериализации результатов, чем про 100 потоков
SB
В простом случае хватит и requests, если не надо массово в 100 потоков сливать содержимое сайта
Я первым делом попробовал requests, но ответ отличается от браузерного. Наверняка можно будет настроить, но хочется минимум ручной работы.
KK
А чего там настраивать? User-Agent только? Или там сайт с продвинутой защитой от скрапинга?
KK
Ты больше времени потратишь на изучение скраппи и его запуск