Большинство прост не знают ещё, что с ними можно делать

Ждут блогпост

А ещё их не сделать в скале 3

да сделать сделать

Без аннотации?

да

Всем привет! Я начинающий дата инженер, писал в основном на джаве но сейчас работаю со спарком и имею дело со скалой.

Пришел к вам с вопросом: есть ли какой-то гайдлайн или что-то вроде такого по написанию кода на скале. У меня вместо адекватного красивого кода, выходит plain main со всеми операциями.

Проблема в том, что если я пытаюсь обобщить - разрастаются либо параметры класса либо параметры методов. И еще одна проблема (spark related): везде нужно implicit прокидывать сессию...



Вот.

А как тогда?

мне кажется что надо просто подходить к написанию кода не как к спарко коду а как обычному приложению, тогда все будет ок

а так  с таким вопросом больше в лерн; наверное есть что-то про разбивание кода на классы функции пакеты и файлы (может и тут подскажут)

ну а по поводу сессий - можно ее пихать в контекст, который и так сейчас таскают за собой)

Конкретно про имплицитную сессию в спарке - у меня на прошлой работе её носили в ридер монаде. Не знаю насколько это хорошая идея, но один из вариантов

^ this; рабочий вариант

За вычетом того, что в спарке надо воевать с сериализацией и closure cleaner. Поэтому нужно писать максимально процедурно, предпочитая object classам

не нужно так писать

с сериализацией беды только когда серизуется то что и не должно сериализовываться; сессии к примеру

@pomadchin если sc.map(x => f(x)) вызван внутри класса, то кэпчурится this (который должен быть объявлен сериализуемым) вместе со всеми полями. Дальше, если повезет, cleaner может поля проигнорировать. Но может и попытаться сериализовать и обвалиться в рантайме.
Может я что-то не так делаю, но уже 4 года борюсь с такими проблемами

this должен быть и правда сериализуем у меня никогда с этим не было проблем

А в чём проблема объявлять всё что нужно сериализируемым?

на самом деле если приглядеться то все коты, зивы, и тп имеют все объекты (которые возможно) сериализуемыми как раз для спарка (были и ишши на этот счет)