K
ну потому что удобнее мавена, нативный для scala прилаг, куча плагинов нужных
Size: a a a
2020 December 08
GP
он порсто дефолт паралелизм ставит на x2 доступных cpu (ну и по памяти там чет ставит еще; не оч полезная фича оч большой мизюз)
AE
куча мелочей, размазанных по всему конвейеру, 5 дней потратил чтобы полностью всё отладить
GP
он порсто дефолт паралелизм ставит на x2 доступных cpu (ну и по памяти там чет ставит еще; не оч полезная фича оч большой мизюз)
это ж полная жесть
потеницально операиця которая хотела презервить партишены будет решафлена в этот паралелизм
потеницально операиця которая хотела презервить партишены будет решафлена в этот паралелизм
AE
он порсто дефолт паралелизм ставит на x2 доступных cpu (ну и по памяти там чет ставит еще; не оч полезная фича оч большой мизюз)
в 5 ветке емр он возвращал x2 CPU, да. в шестой только если maxResourceAllocation а эт офлаг который на ноде оставляет 1 жирный экзекутор на все ядра и всю память
AE
вот зачем они это сделали
I
ну потому что удобнее мавена, нативный для scala прилаг, куча плагинов нужных
мне мавен удобнее, я раз попытался scope на sbt для uber-jar настроить и забил.
GP
почему?
да мавен динозавр из прошлого) что угодно лучше чем мвн
но это холиварный вопрос ж
хоть javacом собирай если нравится
но это холиварный вопрос ж
хоть javacом собирай если нравится
I
ant'ом же
I
Почему то sbt у меня тянул все на свете со в скопе provided
GP
Почему то sbt у меня тянул все на свете со в скопе provided
такое не мож быть
GP
баг или что-то еще тянуло
AE
чё касается зависимостей в 6 ЕМРе, то там даже гуава у ихней сборки спарка и хадупа разная. пока 20-ю не пропишешь явно, конфликт в рантайме, если не дай бог что из неё заюзал у себя
AE
либо импортить из org.apache.sparkproject.guava. что несколько некошерно
I
Ох я бы с упоением почитал бы статейку на тему что надо доделать напильником в спарк 3.0
K
чё касается зависимостей в 6 ЕМРе, то там даже гуава у ихней сборки спарка и хадупа разная. пока 20-ю не пропишешь явно, конфликт в рантайме, если не дай бог что из неё заюзал у себя
можно еще зашейдить
I
баг или что-то еще тянуло
Когда в мавене фиганул provided поставил пару excludes на пакеты в плагины и вот джарка уже не 100 метров
GP
чё касается зависимостей в 6 ЕМРе, то там даже гуава у ихней сборки спарка и хадупа разная. пока 20-ю не пропишешь явно, конфликт в рантайме, если не дай бог что из неё заюзал у себя
не понял; если у себя используешь шейди (это _правильно_) менять в рантайме это надеяться на то что не стрельнет в колено
AE
можно еще зашейдить
тогда в фатжаре будет три копии гуавы :/
I
А на скала 2.12 тяжко переезжать с 2.11?