Size: a a a

2020 September 18

DZ

Dmitry Zuev in Data Engineers
У нас проект 7 минут мин собирается
источник

AE

Alexey Evdokimov in Data Engineers
сколько kLOC?
источник

DZ

Dmitry Zuev in Data Engineers
Дело не в этом
источник

DZ

Dmitry Zuev in Data Engineers
А в том что у нас шейплез
источник

AE

Alexey Evdokimov in Data Engineers
кодогенерация?
источник

DZ

Dmitry Zuev in Data Engineers
Индук типы
источник

DZ

Dmitry Zuev in Data Engineers
Кодогенерация штука быстрая
источник

AE

Alexey Evdokimov in Data Engineers
хз. я не юзал такое

у меня был проект на ~500 kLOC на жабе с кодогенерацией. 3 минуты на сборку
источник

DZ

Dmitry Zuev in Data Engineers
Сейчас бы сборку жабы со скалой сравнивать
источник

AE

Alexey Evdokimov in Data Engineers
на скале я держу только мелкие куски, которые на жабе реально неудобно делать
источник

AE

Alexey Evdokimov in Data Engineers
жаба существенно дешевле в поддержке всё-таки
источник

DZ

Dmitry Zuev in Data Engineers
В спарке думаю нет
источник

DZ

Dmitry Zuev in Data Engineers
Дружить скалу с жавой по собственной воле такое себе. В обе стороны
источник

AE

Alexey Evdokimov in Data Engineers
если под спарком подразумевать spark.sql и датафреймы, то нет. если юзать его как более низкоуровневую либу, то без разницы как-то
источник

DZ

Dmitry Zuev in Data Engineers
Что такое низкий уровень?
источник

AE

Alexey Evdokimov in Data Engineers
rdd
источник

DZ

Dmitry Zuev in Data Engineers
Жава примерно в сто раз ужаснее в рдд
источник

DZ

Dmitry Zuev in Data Engineers
Особенно удф
источник

AE

Alexey Evdokimov in Data Engineers
не всем нужны удф :)
источник

DZ

Dmitry Zuev in Data Engineers
Тогда зачем рдд?
источник