Ж
Вопрос только будет ли возможность делать импорт implicits когда есть бифор
Size: a a a
2020 August 17
DZ
Жмака
Всем привет. Новичок в скале 😇Не могу победить сериализацию. Создал тест класс с junit, в @before определил sparkSession, в тестовом методе нужно создать dataset из sequence с тестовыми даннымми. Создает датасет с одной колонкой value с бинарными данными. Имплиситс не могу прописать, потому что sparkSession определена в @before. Как правильно сделать? Пробовал энкодер сделать но видно "руки кривые" или туплю🙂
Какой Спарк? Мб сразу взять тесткит?
Ж
2.4.5
DZ
Мда, вроде тест кит к 2.4 не подтянули.
Но я бы просто сделал функции для тестов SparkSession => Unit
Но я бы просто сделал функции для тестов SparkSession => Unit
DZ
Ну и не использовал junit
R
Жмака
Вопрос только будет ли возможность делать импорт implicits когда есть бифор
возможно вот так:
test("other-test") {
val context = spark.sqlContext
import context.implicits._
}R
я не гарантирую что это 100% best practice и наверное люди с невероятно высокими познаниями в Scala раскритикуют этот подход, но я знаю что он работает
AS
я не гарантирую что это 100% best practice и наверное люди с невероятно высокими познаниями в Scala раскритикуют этот подход, но я знаю что он работает
+1
можно как написали выше через loan pattern (вроде так называется), но имхо это не нужно украшение
можно как написали выше через loan pattern (вроде так называется), но имхо это не нужно украшение
Ж
Ну и не использовал junit
А что в нем не так?
Ж
я не гарантирую что это 100% best practice и наверное люди с невероятно высокими познаниями в Scala раскритикуют этот подход, но я знаю что он работает
В scala user group мне также предложили вынести спарк сессию из бифор. В этом случае импот implocits сработал. Я оставил только афтер для закрытия сессии
DZ
Ну в том что для скалы есть что-то поудобнее
SS
коллеги, добрый день!
подскажите, есть смысл включать опцию YARN "yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage" для YARN под спарк-приложения?
подскажите, есть смысл включать опцию YARN "yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage" для YARN под спарк-приложения?
UD
коллеги, добрый день!
подскажите, есть смысл включать опцию YARN "yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage" для YARN под спарк-приложения?
подскажите, есть смысл включать опцию YARN "yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage" для YARN под спарк-приложения?
да, чтобы не вылезали за свои запрошенные ресурсы
UD
типичная история с различными ml фреемворками, которые тащат например openmp
SS
а какие еще полезные опции YARN'а есть смысл настраивать?
PA
коллеги, добрый день!
подскажите, есть смысл включать опцию YARN "yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage" для YARN под спарк-приложения?
подскажите, есть смысл включать опцию YARN "yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage" для YARN под спарк-приложения?
Если ось поддерживает cgroups нормально
А не как centos6 :)
А не как centos6 :)
UD
а какие еще полезные опции YARN'а есть смысл настраивать?
можно еще i/o weight
UD
Если ось поддерживает cgroups нормально
А не как centos6 :)
А не как centos6 :)
вроде все вменяемые закопали уже
AZ
коллеги, добрый день!
подскажите, есть смысл включать опцию YARN "yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage" для YARN под спарк-приложения?
подскажите, есть смысл включать опцию YARN "yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage" для YARN под спарк-приложения?
можно включить, но тогда не будет оверкоммита и может сильно упасть утилизация
AZ
с другой стороны если у вас multi-tenant кластер и вы гарантируете уровень сервиса - вы обязаны включить