AR
если там капча, 1000 проксей не поможет
Size: a a a
2019 December 18
AR
Через 2 недкли поддержуа 2 питона закоечится. Твистед умрет. Что будет со скрепи?
а что с ним должно стать?
AR
Что за страшное слово - промышленный?
обычный такой термин в IT, довольно размытый правда, на мой взгляд обозначает просто продакшен нормальных объёмов
МС
Через 2 недкли поддержуа 2 питона закоечится. Твистед умрет. Что будет со скрепи?
у меня третий питон уже порядочно, скрапи живет и здравствует. И с какого пререпуга твистед должен умирать?
B
если там капча, 1000 проксей не поможет
Нету капчи
AR
ну я условно
AR
или речь тупо про скорость?
B
Ну да. Создать параллельные задачи по сбору
AR
т.к. непонятно что значит "не может собрать"
B
Ну допустим есть группы и подгруппы товаров. Их нужно собрать и нагенерить пагинацию и в бой
AR
ну пишем собиралку урлов товаров, запускаем, получаем 20 миллионов урлов, дальше уже всё зависит от того сколько наши и их сервера выдержат рпмов
B
Делов на пару часов а тут три дня этот костыль и говорит что собирает по 100 продуктов в минуту на 1000 проксях
AR
три дня это 500 рпм, ну можно наверно
AR
ну писать пару часов, а выполнять-то не пару часов
B
На 100 потоках собрать как нефиг делать на запросах
B
Или более
AR
а блин
AR
5к рпм, не 500
B
скрапи как понимаю кривая штука
B
лучше писать кастомный сборщик