Ж
он для этого предназначен
Я его не знаю. Надо читать, тестить. Много времени уйдет, а результат нужен завтра)
Size: a a a
2020 August 31
K
Жмака
Я его не знаю. Надо читать, тестить. Много времени уйдет, а результат нужен завтра)
я пример вам прислал
K
уйдет на все не больше 3-5 часов
А
как тогда дождаться выполнения всех future в массиве?
А
val result = Future.sequence(futures)
result.onComplete - так?
result.onComplete - так?
Ж
import zio._
import zio.blocking.Blocking
def execute(path:String) = blocking.effectBlocking {
spark.read.parquet(path)
}
val load = paths.map(x => execute(x))
ZIO.collectAllPar(load).map(x => x.reduce(_.union(_)))
import zio.blocking.Blocking
def execute(path:String) = blocking.effectBlocking {
spark.read.parquet(path)
}
val load = paths.map(x => execute(x))
ZIO.collectAllPar(load).map(x => x.reduce(_.union(_)))
Какой это артифакт в мавен? Их тут много
K
Жмака
Какой это артифакт в мавен? Их тут много
используйте Future
K
val result = Future.sequence(futures)
result.onComplete - так?
result.onComplete - так?
.sequence приведет List[Future] к Future[List]
K
и дальше можно Awaits сделать
Ж
используйте Future
А с zio не стоит пробовать?
K
я думаю вам не хватит вермени
K
если нужно за 2 -3 часа
ИК
почему вы не хотите Future использовать?
Future начинает выполняться сразу после создания? Предположим, что каждый Future запускает Spark job. Как можно ограничить количество одновременно выполняемых джобов?
K
Future начинает выполняться сразу после создания? Предположим, что каждый Future запускает Spark job. Как можно ограничить количество одновременно выполняемых джобов?
экзекушон контекстом
K
или использовать более продвинутые техники
K
типа cats effect, zio
K
там больше контроля и больше всяких удобных плюшек для контроля IO кода
А
Future начинает выполняться сразу после создания? Предположим, что каждый Future запускает Spark job. Как можно ограничить количество одновременно выполняемых джобов?
implicit val ec = ExecutionContext.fromExecutorService(Executors.newWorkStealingPool(12))
ИК
Спасибо
А
не пойму как пока дождаться их всех окончания и что будет, если внутри будет эксепшен. Надо попробовать