GP
чтобы начать proof of concept, сойдут и параллельные коллекции ))
фучки
Size: a a a
2020 August 31
ПФ
я уж думал ты про жавовые. но скаловые пар сиквенсы тож моветон
Да? А почему?
K
.toList.par
нет
K
нельзя пар
K
лучше фьючу уж
Ж
нельзя пар
Почему?
K
import zio._
import zio.blocking.Blocking
def execute(path:String) = blocking.effectBlocking {
spark.read.parquet(path)
}
val load = paths.map(x => execute(x))
ZIO.collectAllPar(load).map(x => x.reduce(_.union(_)))
import zio.blocking.Blocking
def execute(path:String) = blocking.effectBlocking {
spark.read.parquet(path)
}
val load = paths.map(x => execute(x))
ZIO.collectAllPar(load).map(x => x.reduce(_.union(_)))
K
Жмака
Почему?
пар депрекейчен в основной коллекуии вроде раз
K
второе там нельзя производить не чистые вычисления, никакого контроля ошибки нет
А
вот проходишь курсы на курсере, учишься делать свои par коллекции, а потом оказывает что это депрекейтед
А
а с виду удобно
K
ну там отледльно сделали
K
а с виду удобно
оно удобно, но для чистых вычислений
K
а у вас spark.read может ошибку вернуть
K
просто можно Future сделать вместо Зио
А
что если в Try() запехнуть spark.read?
А
и потом pararr.filter(_.isSuccess).reduce(_ union _)
ИК
оно удобно, но для чистых вычислений
+ к вопросу выше, или Either возвращать
K
и потом pararr.filter(_.isSuccess).reduce(_ union _)
почему вы не хотите Future использовать?
K
он для этого предназначен