Size: a a a

2019 December 05

DZ

Dmitry Zuev in Data Engineers
Я бы предложил кастомный энекодер
источник

AP

Anton Pilipenko in Data Engineers
Dmitry Zuev
но json это не Map[String, String]
В общем случае есссно но конкретно тут это условный  dict. Вот мне его надо в итоге свернуть в мапку и вырезать мусор
источник

AP

Anton Pilipenko in Data Engineers
Anton Pilipenko
В общем случае есссно но конкретно тут это условный  dict. Вот мне его надо в итоге свернуть в мапку и вырезать мусор
и эту логику хотелось бы максимально близко к case классу прикопать
источник

DZ

Dmitry Zuev in Data Engineers
Map[String, String] @@ MyDictTag
источник

DZ

Dmitry Zuev in Data Engineers
Encoder[Map[String, String] @@ MyDictTag]
источник

DZ

Dmitry Zuev in Data Engineers
Anton Pilipenko
и эту логику хотелось бы максимально близко к case классу прикопать
через тайпклассы очевидно
источник

AP

Anton Pilipenko in Data Engineers
ну то есть типа apply вызвать так просто никак? Как я понимать энкородер типа энкод декод делает ну и за сериализацию отвечает. Про тайпклассы почитаю, спасибо
источник

DZ

Dmitry Zuev in Data Engineers
Anton Pilipenko
ну то есть типа apply вызвать так просто никак? Как я понимать энкородер типа энкод декод делает ну и за сериализацию отвечает. Про тайпклассы почитаю, спасибо
источник

DZ

Dmitry Zuev in Data Engineers
Encoder это уже тайпкласс
источник

DZ

Dmitry Zuev in Data Engineers
кладешь его в компаньён если хочешь поближе
источник

DZ

Dmitry Zuev in Data Engineers
а нью тайп что бы подтянуть энекодер
источник

AP

Anton Pilipenko in Data Engineers
Dmitry Zuev
а нью тайп что бы подтянуть энекодер
грац!
источник

DZ

Dmitry Zuev in Data Engineers
Либо если знаешь какие  у тебя поля будут в Map то лучше еще один кейс класс
источник

DZ

Dmitry Zuev in Data Engineers
правда я под спарк ньютайпы не юзал, но вроде проблем быть не должно
источник

AS

Andrey Smirnov in Data Engineers
Slava
я хочу свое приложение запаковать в докер, не знаю как оно все уживается, потому и спрашиваю
источник

DZ

Dmitry Zuev in Data Engineers
Dmitry Zuev
кладешь его в компаньён если хочешь поближе
implicit val канешн
источник

S

Slava in Data Engineers
спасибо
источник

A

Aleksandr in Data Engineers
кто-нибудь читал спарком zip-ы? что-то это сильно мучительно выглядит
источник

AS

Anton Shelin in Data Engineers
Aleksandr
кто-нибудь читал спарком zip-ы? что-то это сильно мучительно выглядит
почему
источник

A

Aleksandr in Data Engineers
нет коробочной поддержки zip-а, приходится костыли городить
источник