C
Total messages: 63524
Size: a a a
2020 September 01
В
Здравствуйте. А могу я тут задавать вопросы?
В
ой
В
перепутал чаты
AS
Жмака
Запустил еще раз с большей памятью для драйвера. С зио совладать не смогу - надо сидеть и изучать. С futures тоже время займёт 😞
помогло?! я у себя на hdfs на небольшом количестве файлов (50) проверил, прироста не получил, даже чуть медленнее (но я просто count считал, видимо накладные расходы на union).
Ж
помогло?! я у себя на hdfs на небольшом количестве файлов (50) проверил, прироста не получил, даже чуть медленнее (но я просто count считал, видимо накладные расходы на union).
Не особо. Работал также как и без и все равно остановился из за ошибки, что у драйвера слишком мало памяти
AS
ну я её для себя решил вот так (говорил уже):
https://github.com/PastorGL/OneRing/tree/master/DistWrapper
https://github.com/PastorGL/OneRing/tree/master/DistWrapper
AS
Жмака
Не особо. Работал также как и без и все равно остановился из за ошибки, что у драйвера слишком мало памяти
ясно, а сколько у тебя получилось потоков, по идее future не должен много весить
Ж
Я с future не делал пока, потому что еще не знаю как. Придется позже сделать на этой неделе и плюс у меня над головой сидит архитектор, который диктатурно прописывает что делать. Поэтому я жду что он мне ответит и тогда продолжу
AS
Жмака
Я с future не делал пока, потому что еще не знаю как. Придется позже сделать на этой неделе и плюс у меня над головой сидит архитектор, который диктатурно прописывает что делать. Поэтому я жду что он мне ответит и тогда продолжу
я думал что под капотом у par Futures, но оказываетя могут быть и старые добрые джавовские Thread
https://github.com/scala/scala/blob/v2.11.12/src/library/scala/collection/parallel/Tasks.scala
зависит от настроек
https://github.com/scala/scala/blob/v2.11.12/src/library/scala/collection/parallel/Tasks.scala
зависит от настроек
Ж
я думал что под капотом у par Futures, но оказываетя могут быть и старые добрые джавовские Thread
https://github.com/scala/scala/blob/v2.11.12/src/library/scala/collection/parallel/Tasks.scala
зависит от настроек
https://github.com/scala/scala/blob/v2.11.12/src/library/scala/collection/parallel/Tasks.scala
зависит от настроек
Аннотация deprecated смущает
ИК
Жмака
Аннотация deprecated смущает
Так это потому что для весьма старых версий скалы threads, для более новых forkjoinpool, а если там к тому же и future в конечном итоге, то какой смысл отказываться от .par? По-моему никакого, особенно если сайдэффекты под контролем, каждый элемент преобразуется в Either.
GP
Ну коллекции параллельные спорные были, их в итоге в отдельную репу кинули и это теперь отдельный жарник
https://github.com/scala/scala-parallel-collections
https://github.com/scala/scala-parallel-collections
ИК
Использовать для конкурентных операций неатомарные переменные, да ещё без мютексов нельзя вообще никогда, это сразу же пишут во всех статьях и на всех курсах говорят
ПФ
Спасибо!
в cats, как я читал в чате Scala, есть Semaphore, он поможет сделать более умную структуру с пулом, который ограничен не только потоками, но и предельные суммарным весом конкурентных заданий?
в cats, как я читал в чате Scala, есть Semaphore, он поможет сделать более умную структуру с пулом, который ограничен не только потоками, но и предельные суммарным весом конкурентных заданий?
Ну семафор и в голой джаве есть :). А ещё cyclic barrier, например. А ещё CompletableFuture
Н
привет, подскажите, пожалуйста, в чем может быть пробелма spark-submit на yarn собирай .zip 40 минут
ПФ
но мы сча говорим о задаче, на которой спарк специализируется
Спарк специализируется на копировании данных из s3 в hdfs?
ИК
Ну семафор и в голой джаве есть :). А ещё cyclic barrier, например. А ещё CompletableFuture
В java.util.concurrent ваще богато всего, боюсь залипнуть бессрочно, если разбираться
ПФ
В java.util.concurrent ваще богато всего, боюсь залипнуть бессрочно, если разбираться
А не страшно лазить в канкарренси скалы не зная канкарренси джавы?
A
ну ты ещё про jmm спроси