AR
🤷♂️
Size: a a a
2019 December 18
МС
Делов на пару часов а тут три дня этот костыль и говорит что собирает по 100 продуктов в минуту на 1000 проксях
1. кривой сайт, который тупо не держит нагрузку
2. защина от парсинга, при больших объемах запросов тупо затормаживаются страницы
3. необоснованное использование силениумов/шмилениумов, ибо "ой ой ой, дергаю страничку, а на ней ничего нет, это супер-пупер защита". Я пока встречал, буквально, несколько сайтов, которые без имитации браузера дороже парсить
4. кривой код
2. защина от парсинга, при больших объемах запросов тупо затормаживаются страницы
3. необоснованное использование силениумов/шмилениумов, ибо "ой ой ой, дергаю страничку, а на ней ничего нет, это супер-пупер защита". Я пока встречал, буквально, несколько сайтов, которые без имитации браузера дороже парсить
4. кривой код
МС
скрапи как понимаю кривая штука
знаешь, за все то время, что вообще работаю/живу я понял одно. Нет кривого кода, софта, .... (нужное подставить), есть только руки из жопы
МС
у меня тот же скрапи, на некоторых сайтах споконо делает 1000-3000 запросов в мин, и ничего
o
1. кривой сайт, который тупо не держит нагрузку
2. защина от парсинга, при больших объемах запросов тупо затормаживаются страницы
3. необоснованное использование силениумов/шмилениумов, ибо "ой ой ой, дергаю страничку, а на ней ничего нет, это супер-пупер защита". Я пока встречал, буквально, несколько сайтов, которые без имитации браузера дороже парсить
4. кривой код
2. защина от парсинга, при больших объемах запросов тупо затормаживаются страницы
3. необоснованное использование силениумов/шмилениумов, ибо "ой ой ой, дергаю страничку, а на ней ничего нет, это супер-пупер защита". Я пока встречал, буквально, несколько сайтов, которые без имитации браузера дороже парсить
4. кривой код
А Гугл карты без селена?
AR
пусть клиент апи купит, оно недорогое
EB
Да нет, все он правильно сказал, скрапи кривой, правильнее писать пауков на селениуме…
AR
расходимся
o
Я просто не зарабатываю на этом поэтому мне не надо валить сервера 5к запросами в секунду поэтому я как то вот сразу подсел на селен и мне нравится то что в нем ты не увидишь каптчи и можешь парсить с одного адреса и тебя никто не забанит
Не быстро конечно но и наука у нас тоже никуда не торопится
Не быстро конечно но и наука у нас тоже никуда не торопится
AR
"можешь парсить с одного адреса и тебя никто не забанит" это такая опасная идея
B
я на митме скрапил gmaps, брал json из файлов подкачки
AR
я собсна видел сайт, который на запрос этак пятый показывает капчу даже лично мне в моём обычном браузере
o
я на митме скрапил gmaps, брал json из файлов подкачки
О_о
МС
А Гугл карты без селена?
а кто говорил что гугля не входит в кагорту "нескольких сайтов" ? 😄
AR
не говоря о гуглсёрче с телефона