Ж
Привет! Есть трейт Sparksessionsetup, в нем инициализируется sparkSession но без appName. Этот appName приходит аргументом из спарк-сабмита - один из аргументов джара. Как это имя можно добавить в трейте к сессии через .appName(argValue)?
Size: a a a
2020 September 07
Oℕ
Жмака
Привет! Есть трейт Sparksessionsetup, в нем инициализируется sparkSession но без appName. Этот appName приходит аргументом из спарк-сабмита - один из аргументов джара. Как это имя можно добавить в трейте к сессии через .appName(argValue)?
Sparksessionsetup - это кастомный трейт?
Oℕ
Вы его сами написали?
Ж
Да. Сам
Oℕ
Тогда напишите код в скасти
Oℕ
С этим трейтом
Ж
Пару минут
DZ
Sparksessionsetup - это кастомный трейт?
Уже помогаем всем миром который понимает в спарке
Oℕ
Уже помогаем всем миром который понимает в спарке
?
Oℕ
в смысле в другой группе вопрос тоже был задан?
DZ
Ну там через параметр передается имя
DZ
DZ
это не про трейты вообще
DZ
через сабмит имя прокидывается через spark-submit --name myAppName
Oℕ
через сабмит имя прокидывается через spark-submit --name myAppName
А как надо
DZ
А как надо
spark-submit --name "My app"
Oℕ
Т.е. вопрос не про скалу?
DZ
именно