AR
т.е. без коллбэков
Size: a a a
2020 January 11
AR
ну ради читаемости за -20% рпм можно конечно в некоторых случаях такое писать :)
ЕJ
ну если быстро что то стянуть,
скрапи хорош если надо 5-10 типичных сайтов парсить каждый день,
тогда да стандарт задает - можно моштабировать, нет зависимостити от кодера
а если что то разово или зеркало сайта
скрапи хорош если надо 5-10 типичных сайтов парсить каждый день,
тогда да стандарт задает - можно моштабировать, нет зависимостити от кодера
а если что то разово или зеркало сайта
ЕJ
если бы скрапи не на twisted написал а просто на потоках - цены бы ему небыло
АП
если бы скрапи не на twisted написал а просто на потоках - цены бы ему небыло
Чушь. Асинхронность нормальная делается без потоков.
AR
если бы скрапи не на twisted написал а просто на потоках - цены бы ему небыло
лол
ЕJ
Чушь. Асинхронность нормальная делается без потоков.
много пишете на twisted?
AR
ну если быстро что то стянуть,
скрапи хорош если надо 5-10 типичных сайтов парсить каждый день,
тогда да стандарт задает - можно моштабировать, нет зависимостити от кодера
а если что то разово или зеркало сайта
скрапи хорош если надо 5-10 типичных сайтов парсить каждый день,
тогда да стандарт задает - можно моштабировать, нет зависимостити от кодера
а если что то разово или зеркало сайта
ЕJ
XD)
ЕJ
АП
много пишете на twisted?
Да, а что?
ЕJ
сочуствую)
АП
Типичная модель приложения которое активно трогает сеть.
ЕJ
или завидую смотря как смотреть)
АП
Любой велосипед на потоках будет хуже.
ЕJ
хуже в чем?
АП
В том что взаимодействе с сетью будет блокирующее.
АП
В то время как в скрапи (и не только в нём) асинхронное не блокирующее.
ЕJ
ага, ток при промышленом парсинге процессор не дорогой
дорогой диск
толку с этого
дорогой диск
толку с этого
ЕJ
особенно мелким и средним