Note that, Spark 2.x is pre-built with Scala 2.11 except version 2.4.2, which is pre-built with Scala 2.12. Spark 3.0+ is pre-built with Scala 2.12.
spark это совсем отдельный мир, отдельный стек.
У нас тут есть, если оч грубо говорить, три группы скала-разработки:
— фп челики, которые тайплевел, коты, зио етс.
— беттер-жява челы, которые акка, лайтбенд итд
— спарк-люди, которые дата-инжиниринг
если ты пошел в скалу за фп, то тебе к первым, от остальных будет грустно