ИК
Коллекцию, наверное, надо шафлить, чтобы обеспечить более-менее равномерное использование ресурсов?
Size: a a a
2020 August 31
K
не пойму как пока дождаться их всех окончания и что будет, если внутри будет эксепшен. Надо попробовать
ну можно обработать)
K
короче чем глубже в лес
GP
Future начинает выполняться сразу после создания? Предположим, что каждый Future запускает Spark job. Как можно ограничить количество одновременно выполняемых джобов?
fixed thread pool
ИК
fixed thread pool
Спасибо!
в cats, как я читал в чате Scala, есть Semaphore, он поможет сделать более умную структуру с пулом, который ограничен не только потоками, но и предельные суммарным весом конкурентных заданий?
в cats, как я читал в чате Scala, есть Semaphore, он поможет сделать более умную структуру с пулом, который ограничен не только потоками, но и предельные суммарным весом конкурентных заданий?
K
Спасибо!
в cats, как я читал в чате Scala, есть Semaphore, он поможет сделать более умную структуру с пулом, который ограничен не только потоками, но и предельные суммарным весом конкурентных заданий?
в cats, как я читал в чате Scala, есть Semaphore, он поможет сделать более умную структуру с пулом, который ограничен не только потоками, но и предельные суммарным весом конкурентных заданий?
оч много разных реализаций
K
zio/cats effects/monix
ИК
оч много разных реализаций
я читал конкурентное программирование в Scala, там действительно много реализаций, даже акторы и реакторы рассматриваются, не говоря уже о JavaRX, и хоть бы что про Cats ((
K
я читал конкурентное программирование в Scala, там действительно много реализаций, даже акторы и реакторы рассматриваются, не говоря уже о JavaRX, и хоть бы что про Cats ((
K
я читал конкурентное программирование в Scala, там действительно много реализаций, даже акторы и реакторы рассматриваются, не говоря уже о JavaRX, и хоть бы что про Cats ((
ИК
Жмака
В количество данных и последовательное чтение файлов
Благодарен за ссылки, и все же мы отклонились от темы: поможет, если запараллелить чтение файлов, или таки надо думать куда-то ещё ))
Ж
Запустил еще раз с большей памятью для драйвера. С зио совладать не смогу - надо сидеть и изучать. С futures тоже время займёт 😞
AE
исчо раз, задача-то какая? прочитать кластером 25к паркетов на с3?
Ж
Да
AE
AE
составляю список паркетов, раскидываю по екзекуторм и копирую в хдфс (правда в виде csv)
AE
занимает считанные минуты
K
на спарке тож самое будет
K
но ток не колхоз
AE
в смысле колхоз. эт на спарке всё