GP
типа тупл стринга и инта
Size: a a a
2020 August 16
GP
Будут ли они бинарными
GP
или кейс класс какой
GP
вообще что у тебя за типы?
Ж
ну ты попробуй просто пример сунь в датафрейм
Мне нужен датасет, чтобы его функциями пользоваться. С датафреймом то работает
GP
я назвал там датасет датафреймом
Ж
С кейс классом как раз и пытаюсь
Ж
Стринг и инт поля
GP
ну ты же понимаешь что если я сейчас пример в своей среде запущу он нормально серализуется?)
Ж
No implicits found for parameter evidence encoder[case class]
GP
имплиситс импортировал? (sqlContext.implicits._)
GP
или что-то типа этого там
Ж
имплиситс импортировал? (sqlContext.implicits._)
Не берет даде если спарк сессия в теле класса прописана как val
GP
что значит не берет? Пишет что нет импорта такого?
GP
Жмака
Не берет даде если спарк сессия в теле класса прописана как val
Импорт возможен только если сессия вал
Ж
Сейчас сессия как val в классе, импортнул имплиситс. Пишет unable to find encoder for type Test (это мой case class)
Ж
Импорт возможен только если сессия вал
Датасет создаю через spark.createdataset(seq(test(),test(),...))
GP
Жмака
Датасет создаю через spark.createdataset(seq(test(),test(),...))
GP
20/08/16 15:51:01 INFO CodeGenerator: Code generated in 27.574415 ms
+---+--------+
| id|username|
+---+--------+
| 1| Oleg|
| 2| Jmaka|
+---+--------+
GP
скасти там крашится конечно пытаясь закрыть незакрытую сессию; но видно что и компилится и работает