К
что делать чтобы быстро и работало ?
Покупай приватные прокси, и чем больше тем быстрее
Size: a a a
2019 November 09
2019 November 10
МС
а так нельзя ? https://blog.scrapinghub.com/scrapy-proxy
можно, почему нельзя.
только вот вопроса не было, что именно нельзя.
по сабжу - там расписыватся настройка единичной прокси, без обработки ответа и мониторинга состояния.
на гитхабе есть, как минимум, несколько библиотек ротаторов прокси. Выбирай не хочу
только вот вопроса не было, что именно нельзя.
по сабжу - там расписыватся настройка единичной прокси, без обработки ответа и мониторинга состояния.
на гитхабе есть, как минимум, несколько библиотек ротаторов прокси. Выбирай не хочу
2019 November 11
МС
хай, народ
https://github.com/vimagick/dockerfiles/tree/master/scrapyd
пользовался кто? что скажете?
ну и, очередной, нубятский вопрос - надо запустить несколько инстансов scrapyd, через докер... подмогнете с информацией? 😋
https://github.com/vimagick/dockerfiles/tree/master/scrapyd
пользовался кто? что скажете?
ну и, очередной, нубятский вопрос - надо запустить несколько инстансов scrapyd, через докер... подмогнете с информацией? 😋
EB
хай, народ
https://github.com/vimagick/dockerfiles/tree/master/scrapyd
пользовался кто? что скажете?
ну и, очередной, нубятский вопрос - надо запустить несколько инстансов scrapyd, через докер... подмогнете с информацией? 😋
https://github.com/vimagick/dockerfiles/tree/master/scrapyd
пользовался кто? что скажете?
ну и, очередной, нубятский вопрос - надо запустить несколько инстансов scrapyd, через докер... подмогнете с информацией? 😋
у меня на одном серваке уже года 3 крутится, вроде работает бес проблем
МС
у меня на одном серваке уже года 3 крутится, вроде работает бес проблем
Спс за инфу...
2019 November 12
A
Насколько имеет смысл так делать:
Первым проходом заставить паука собрать ссылки на страницы товаров из категорий.
Вторым проходом - собрать со страниц товаров интересующую информацию.
Части информации, которую нужно собрать, на странице категории нет.
Первым проходом заставить паука собрать ссылки на страницы товаров из категорий.
Вторым проходом - собрать со страниц товаров интересующую информацию.
Части информации, которую нужно собрать, на странице категории нет.
МС
Насколько имеет смысл так делать:
Первым проходом заставить паука собрать ссылки на страницы товаров из категорий.
Вторым проходом - собрать со страниц товаров интересующую информацию.
Части информации, которую нужно собрать, на странице категории нет.
Первым проходом заставить паука собрать ссылки на страницы товаров из категорий.
Вторым проходом - собрать со страниц товаров интересующую информацию.
Части информации, которую нужно собрать, на странице категории нет.
ну, это только ты можешь ответить :)
а так, у меня, к примеру, овердохера вопросов возникает. В первую очередь вопрос "цена/качество". Под ценой и время то-же подразумевается. Если это для лично тебя, пользоваться тебе будет удобно, напишешь намного быстрее чем все в одном пауке - не вижу препятствий делать как ты написал.
а так, у меня, к примеру, овердохера вопросов возникает. В первую очередь вопрос "цена/качество". Под ценой и время то-же подразумевается. Если это для лично тебя, пользоваться тебе будет удобно, напишешь намного быстрее чем все в одном пауке - не вижу препятствий делать как ты написал.
A
ну, это только ты можешь ответить :)
а так, у меня, к примеру, овердохера вопросов возникает. В первую очередь вопрос "цена/качество". Под ценой и время то-же подразумевается. Если это для лично тебя, пользоваться тебе будет удобно, напишешь намного быстрее чем все в одном пауке - не вижу препятствий делать как ты написал.
а так, у меня, к примеру, овердохера вопросов возникает. В первую очередь вопрос "цена/качество". Под ценой и время то-же подразумевается. Если это для лично тебя, пользоваться тебе будет удобно, напишешь намного быстрее чем все в одном пауке - не вижу препятствий делать как ты написал.
Я интересуюсь, с целью улучшения результата. Мб оно совсем плохо, сильно замедлит работу и вообще фу-фу-фу так делать и есть намного более красивые альтернативы.
A
Мою ж писанину мб кто-то когда-то решит почитать, а может даже что-то в нее добавлять.
МС
Понимаешь, ответить та твой вопрос можешь только ты. Это как ответить на "для торта надо ликер использовать?", сцуко, да рецептов 100500 мульёнов. Хер его знает, надо смотреть какой именно торт хочешь испечь.
Так и с твоим, хрен его знает, может по другому нельзя, а, может, ты полную херь сделал, и тебе надо руки отбить за это :)))
Так и с твоим, хрен его знает, может по другому нельзя, а, может, ты полную херь сделал, и тебе надо руки отбить за это :)))
A
Спасибо.
EB
>Я бы сказал, что если продуктов много, для отказоустойчивости и стабильности это имеет место быть
+++
+++
EB
также может быть ситуация когда обновлять нужно
EB
в итоге одинпаук урлы из бд достает и обновляет, а второй только урлы новых товаров складывает
КБ
что я делаю не так ? (...
AB
exit()
AB
потом scrapy shell