AR
Точнее про скорость сервера с сайтом
Size: a a a
2020 January 11
AR
16 ядер не нужны
АП
700к товаров за 6 часов спарсил благодаря мультипроцессингу
Примерно 1944 товара в минуту, скрапи такие числа выдаёт и даже не кашляет.
l
Примерно 1944 товара в минуту, скрапи такие числа выдаёт и даже не кашляет.
Тогда надо попробовать
ЕJ
Примерно 1944 товара в минуту, скрапи такие числа выдаёт и даже не кашляет.
как то тестил мультипоточный скрипт на threading + select + lxml
против scrappy (прирост у scrappy только +20%)
против scrappy (прирост у scrappy только +20%)
AR
ещё и прирост? круто
ЕJ
да за исключением того что в скрипте прозрачно, а скраппи надо курить месяцами
AR
🤷♂️
AR
ничего на "threading + select" не может быть прозрачно
ЕJ
ам ну тогда thread pool - куда еще проще)
AR
в питон уже добавили публичный тредпул? :)
AR
а, в 3.2
AR
ну ок
AR
а это всё без коллбэков или там наколеночный реактор написан?
ЕJ
while true
+ 15 строк кода
+ 15 строк кода
ЕJ
тред освободился, кормим ему новую ссылку