EB
другой вопрос, что это мало где нужно
Size: a a a
2019 November 16
КБ
а эти демо пауки будут парсить любой мой сайт или свои какие-то ? их надо изменять скрипты примеров верно ? https://github.com/scrapinghub/testspiders
КБ
сейчас попробую в докере запустить..
EB
Кто какие кодогенераторы знает?
2019 November 17
AS
Консоль в developer tools, там можно исполнять javascript и тянуть со страницы что нужно
МС
B
🤣
2019 November 19
МС
народ, вопрос
есть задача - скачать картинки с сайта, ссылки уже есть в базе.
Есть мысль как это сделать? метот start_requests не подходит. Он должен отдавать именно реквесты.
Пока, единственное что пришло в голову - забрать первую страницу сайта, и в методе parse запросить ссылики из базы и скачать....
есть у кого более умные мысли?
есть задача - скачать картинки с сайта, ссылки уже есть в базе.
Есть мысль как это сделать? метот start_requests не подходит. Он должен отдавать именно реквесты.
Пока, единственное что пришло в голову - забрать первую страницу сайта, и в методе parse запросить ссылики из базы и скачать....
есть у кого более умные мысли?
МС
то что на скрапи - не обсуждается, ибо "так хочется" :)
МС
ну, по феншую, хотелось бы start_urls задать как ссылки на картинки :)
МС
тока чую так низзя :)
КБ
http://scrapingauthority.com/scrapy-download-images/
maybe you can try this ?
maybe you can try this ?
КБ
