Size: a a a

2019 October 22

К

Кирилл in Scrapy
ты пробовал селениум и пюпитер, как тебе советовали выше?
источник

I

Ivan in Scrapy
Кирилл
ты пробовал селениум и пюпитер, как тебе советовали выше?
это все слишком долго. неделю работать должно чтоб собрать что нужно.
источник

К

Кирилл in Scrapy
ну, это такая работа, пытайся пока не выйдет
источник

I

Ivan in Scrapy
короче куки поймал, вместо ошибки
источник

I

Ivan in Scrapy
один раз, больше не ловит(
источник

E

Evgen in Scrapy
Убери assert в splash:go
источник

E

Evgen in Scrapy
Тогда будет всё ответы а не тока 200 принимать
источник

TT

Tim Tim in Scrapy
попробуй другой сайт. Я сейчас ловил 400 - другой сайт норм зашел. Если так то проблема не в софте
источник

I

Ivan in Scrapy
Evgen
Убери assert в splash:go
сработало. спасибо.
источник

I

Ivan in Scrapy
Tim Tim
попробуй другой сайт. Я сейчас ловил 400 - другой сайт норм зашел. Если так то проблема не в софте
другие сайты норм. то incapsula все.
источник

I

Ivan in Scrapy
ловлю куки и не понятно сколько их поймать нужно чтоб пройти.
источник

PA

Phantom Assasin in Scrapy
Михаил Синегубов
тестанеш, скажешь. мне то же на несколько суток надо :)
брал там Mix Pro на 1 час цена 10$, получилось 1000 - 1500 страниц спарсить в 50 потоков
https://rsocks.net/ru/socks-https-proxy
источник

МС

Михаил Синегубов in Scrapy
Страниц чего?😃
источник

PA

Phantom Assasin in Scrapy
Михаил Синегубов
Страниц чего?😃
страницы там с объявлениями, не авито.. там лютый бан идет после 4-5 запросов
источник

МС

Михаил Синегубов in Scrapy
Phantom Assasin
страницы там с объявлениями, не авито.. там лютый бан идет после 4-5 запросов
Хм, на 10 тыс ip и только 1,5 тыс страниц получилось спарсить....
источник

PA

Phantom Assasin in Scrapy
Михаил Синегубов
Хм, на 10 тыс ip и только 1,5 тыс страниц получилось спарсить....
ну получается 1.2к к 10к...
ну еще брал тут на сутки за 10$ 12000 проксей.  там в 5 потоков парсил, получилось спасрить где 3-4тыс страниц
https://awmproxy.com/modules/socks/
источник

PA

Phantom Assasin in Scrapy
кажется дешевле не может быть
источник

PA

Phantom Assasin in Scrapy
да кстати тут есть бесплатные прокси https://awmproxy.com/freeproxy.php
для тестов вполне сгодится
источник

R

Roma in Scrapy
Скажите - а зачем вообще парсят объявления? понимаю инет магазины - для сравнения цен, понимаю отзывы - для нейросетки пойдет, игровая статистика - для ставок...А зачем объявы то?
источник

iz

izzz zzi in Scrapy
Roma
Скажите - а зачем вообще парсят объявления? понимаю инет магазины - для сравнения цен, понимаю отзывы - для нейросетки пойдет, игровая статистика - для ставок...А зачем объявы то?
номера тел
источник