ну посыл был, скрапи быстрый поэтому стоит его изучать,
т.е. потому что скрапи экономит процессорное время - надо его юзать,
а по факту экономия на процессоре даст всего пару баксов (в случаи с парсингом)
и если еще не писал на скрапи - проще запилить многопоточный говнокод в 100-200 строк, и потратить оставшееся время на бизнес логику, на крайний случай на хранение данных (если их очень много)
т.е. в парсинге эффективность расходования процессора (асинхронность) дело 20е
поэтому аргумент "скрапи классно потому что быстрый потому что асинхронный" так себе
а вот если уже писал на скрапи - тоже так себе занятие на нем парсить, - понадобиться запускать свой спайдер через celery и все фиаско -
надо будет к своему DRF прикрутить - та же беда,
да есть scray-d scrapy-rt - но опять таки, вместо одной вьюхи, надо консилиум с сис админом куда бы там в кубы добавить контейнер че как связать шо бы оно работало
т.е. скраппи в основном нужен что бы направить клиентов на скрапи хаб
—
ну вот у меня такой опыт сложился работы с этой либой,
а холивар пошел с опытным scrapy кодером который запилил 1 пук однажды, и твердо утверждает что я чуш несу
там где ты напишешь 100-200 строк говнокода, я со скрапи напишу 50-100, и это будет не говнокод, а повторы при ошибках и прочие радости.
а вообще, хорош холивар разводить, не нравится - не ешь, а разводить срачь из-за того что "я такой весь из себя крутой хер с горы"....
