Добрый день! Надо получить содержимое сайта по url'у. Использую (com.gargoylesoftware.htmlunit) WebClient. На некоторых сайтах отработка метода getPage() зависает навсегда. Процесс висит, внутри он что-то делает, но из метода не выходит. Есть возможность установить таймаут на время ожидания ответа? Или есть другая либа, подходящая для моей задачи?
Добрый день! Надо получить содержимое сайта по url'у. Использую (com.gargoylesoftware.htmlunit) WebClient. На некоторых сайтах отработка метода getPage() зависает навсегда. Процесс висит, внутри он что-то делает, но из метода не выходит. Есть возможность установить таймаут на время ожидания ответа? Или есть другая либа, подходящая для моей задачи?
Добрый день! Надо получить содержимое сайта по url'у. Использую (com.gargoylesoftware.htmlunit) WebClient. На некоторых сайтах отработка метода getPage() зависает навсегда. Процесс висит, внутри он что-то делает, но из метода не выходит. Есть возможность установить таймаут на время ожидания ответа? Или есть другая либа, подходящая для моей задачи?
В selenium есть в настройках драйвера таймаут на загрузку страницы, он может с htmlunit работать. В самом htmlunit - не знаю
Они помогут в получении содержимого url'a о чем и спрашивал
Я к тому что они вернут результат до того как весь js на странице отработает. Бывают случаи когда js код подгружает важную часть контента, которую нельзя игнорировать. Т.е. мне надо дождаться завершения загрузки всей страницы и после этого получить ее содержимое. WebClient который я использую, выполняет мою задачу. Но я сталкиваюсь с проблемами, о которых написал выше.