Oℕ
Ну в моей системе восприятия, этот глагол соотносится с алгеброй, т.е. я бы скорее к монаде его применил
Size: a a a
2020 August 16
GP
тут согласен с тобой
Ж
Всем привет. Новичок в скале 😇Не могу победить сериализацию. Создал тест класс с junit, в @before определил sparkSession, в тестовом методе нужно создать dataset из sequence с тестовыми даннымми. Создает датасет с одной колонкой value с бинарными данными. Имплиситс не могу прописать, потому что sparkSession определена в @before. Как правильно сделать? Пробовал энкодер сделать но видно "руки кривые" или туплю🙂
GP
Жмака
Всем привет. Новичок в скале 😇Не могу победить сериализацию. Создал тест класс с junit, в @before определил sparkSession, в тестовом методе нужно создать dataset из sequence с тестовыми даннымми. Создает датасет с одной колонкой value с бинарными данными. Имплиситс не могу прописать, потому что sparkSession определена в @before. Как правильно сделать? Пробовал энкодер сделать но видно "руки кривые" или туплю🙂
сессию спарковую тебе не надо в бефор секции определять; просто как поле класса создай ее
Ж
сессию спарковую тебе не надо в бефор секции определять; просто как поле класса создай ее
Пробовал и так. Все равно имплиситс не берутся через импорт
ФМ
Жмака
Всем привет. Новичок в скале 😇Не могу победить сериализацию. Создал тест класс с junit, в @before определил sparkSession, в тестовом методе нужно создать dataset из sequence с тестовыми даннымми. Создает датасет с одной колонкой value с бинарными данными. Имплиситс не могу прописать, потому что sparkSession определена в @before. Как правильно сделать? Пробовал энкодер сделать но видно "руки кривые" или туплю🙂
Можно вообще вот так
https://github.com/holdenk/spark-testing-base
https://github.com/holdenk/spark-testing-base
GP
Жмака
Пробовал и так. Все равно имплиситс не берутся через импорт
что значит не берутся
GP
можешь SharedSparkSession заэкстендить, тоже в тестах используется
Ж
Когда пишу импорт sparksession.implicits._ все равно создает колонку бинарную по имени value
Ж
можешь SharedSparkSession заэкстендить, тоже в тестах используется
То есть трейт wrapper со спарк сессией?
GP
Жмака
Когда пишу импорт sparksession.implicits._ все равно создает колонку бинарную по имени value
у тебя проблема что ты что-то в датасет суёшь (что?) и оно у тебя как массив бинарный ооьражантся а не как ожидаемое ‘нечто’?
GP
Больше похоже что у тебя кодеков нет
GP
Жмака
То есть трейт wrapper со спарк сессией?
не знаю насколько это Wrapper просто трейт с сессией
Ж
у тебя проблема что ты что-то в датасет суёшь (что?) и оно у тебя как массив бинарный ооьражантся а не как ожидаемое ‘нечто’?
Да. У меня есть данные, которые надо сравнить с получаемым датасетом из паркета.
Ж
Больше похоже что у тебя кодеков нет
Я тоже так предполагаю, потому что явно десериализация нужна. Как, не понимаю
GP
Жмака
Я тоже так предполагаю, потому что явно десериализация нужна. Как, не понимаю
Не нужна явно, у тебя наверное какие нибудь крайо кодеки в скоупе приоритетно находятся
Ж
Убирал тоже. Тоже самое получаю
GP
по дефолту кинет ошибку что не может сериализовать то для чего нет кодеков
Ж
Сейчас никакого крайо нет
GP
ну ты попробуй просто пример сунь в датафрейм