i
Size: a a a
2020 January 27
AR
проще != интересно
МС
https://stackoverflow.com/questions/23868784/separate-output-file-for-every-url-given-in-start-urls-list-of-spider-in-scrapy
немножно ректальный метод....
меня, кстати, больше интеерует вопрос, почему никто не озадачился дедлением больших объемов по количеству строк....?
немножно ректальный метод....
меня, кстати, больше интеерует вопрос, почему никто не озадачился дедлением больших объемов по количеству строк....?
MS
Привет! Подскажите что я делаю не так?
https://gist.github.com/mihailsitnic/ec51cff383c7f82b59ab21d7fa496147
https://gist.github.com/mihailsitnic/ec51cff383c7f82b59ab21d7fa496147
AR
вызываешь функцию, а результат игнорируешь
AR
это главная проблема
MS
Подскажи пожалуйста как её переписать?
AR
возьми туториал, сделай аналогично
AR
официальный
MS
Спасибо )
2020 January 28
S
есть варианты как записать har-сессию запросов модуля requests?
S
надо как-то записать запросы парсера, чтобы можно было потом просмотреть charles'ом каким-нибудь
S
парсер работает на vps, туда mitm-proxy не вариант ставить
S
можно tcpdump'ом записать трафик, но просматривать нормаль и рееплееть запросы не получается
S
вообще есть какой-то набор инструментов, если у меня произошел сбой при парсинге и хочу воспроизсти это чтобы задебажить?
V
всем привет, только начал изучать скрапи.
настроил правила по поиску ссылок:
1. пагинация
2. ссылки на контент
И вот вопрос как сразу сохранить найденные ссылки на контент на страницах пагинации, чтобы потом использовать этот список и не парсить повторно при следующих обходах
И как отследить ошибки загрузки страниц с пагинацией?
настроил правила по поиску ссылок:
1. пагинация
2. ссылки на контент
И вот вопрос как сразу сохранить найденные ссылки на контент на страницах пагинации, чтобы потом использовать этот список и не парсить повторно при следующих обходах
И как отследить ошибки загрузки страниц с пагинацией?
AR
По первому - сделать два отдельных паука