по поводу локальных фреймворков я не переживаю, но спарк (по моим ощущениям) ждет та же судьба что и весь хадуп - есть несколько очень крупных пользователей которые по сути держат базу кода из легаси причин, ваниль почти не работает (без секретных добавок контрибьюторов), это все из продуктов становится фреймворками