МС
Большинство сложных пауков не публикуют, думаю :)
ну, сюда еще с большей не охотой сбросят :)
Size: a a a
2020 January 16
AR
Ага
МС
хотелось бы хорошие
там логика простая, а все остальное - гуглится в 99% случаев, или спрашивается
а так, есть несколько, достаточно универсальных, скелетов. Их и берешь за основу.
Кстати, я, как то исторически, практически везде использую самый базовый скелетик :)
а так, есть несколько, достаточно универсальных, скелетов. Их и берешь за основу.
Кстати, я, как то исторически, практически везде использую самый базовый скелетик :)
VB
понял, спасибо
VM
Здравствуйте, возможно ли использовать scrapy для отправки форм multipart/form-data? Мне нужно прикрепить файл к форме.
АП
Здравствуйте, возможно ли использовать scrapy для отправки форм multipart/form-data? Мне нужно прикрепить файл к форме.
Можно, FormRequest.
2020 January 17
B
Ребят а как-то можно полностью перевести паука в синхронный режим?
МС
requests vs inline ? 🙃
МС
там же, по умолчанию, вроде, все через crawler.engine.schedule.....
вопрос, кстати, нафига синхронный режим?
вопрос, кстати, нафига синхронный режим?
AR
синхронный это как?
AR
можно очередь реквестов сократить до 1
МС
можно очередь реквестов сократить до 1
но он же делает очередь "чуть чуть больше"
AR
нуууу дааааа
B
Сайт очень требователен к тому, чтобы запросы шли именно по порядку, я ему кормлю категорию и с неё 100 сссылок, дальше след категория и 100 ссылок. И они должны выполняться по порядку.