Size: a a a

2020 September 23

SI

Sergey Ivanychev in Data Engineers
Не понял
источник

DZ

Dmitry Zuev in Data Engineers
GitHub - holdenk/spark-testing-base: Base classes to use when writing tests with Spark
https://github.com/holdenk/spark-testing-base
источник

DZ

Dmitry Zuev in Data Engineers
Можно вдохновляться
источник

N

Nikita Blagodarnyy in Data Engineers
Как можно элегантно все колонки DF обмазать коалесками?
источник

ФМ

Федор Мануковский... in Data Engineers
.na.fill?
источник

DZ

Dmitry Zuev in Data Engineers
Ну самый простой способ взять список колонок, сгенерить селект
источник

AZ

Anton Zadorozhniy in Data Engineers
“DF” и «элегантно» в одном предложении не надо употреблять)
источник

DZ

Dmitry Zuev in Data Engineers
Почему?
источник

DZ

Dmitry Zuev in Data Engineers
Потому что не ДС?
источник

AZ

Anton Zadorozhniy in Data Engineers
Dmitry Zuev
Почему?
Почему структура List<Map<String, Object>> не элегантна?
источник

DZ

Dmitry Zuev in Data Engineers
Дядя ты чего
источник

DZ

Dmitry Zuev in Data Engineers
Дф не нужен для такого использования.
Если хочется то кастани до ДС
источник

DZ

Dmitry Zuev in Data Engineers
Дф помял, помял, привел в дс
источник

DZ

Dmitry Zuev in Data Engineers
Дальше интегрируешь куда надо
источник

LS

Lookuut Struchkov in Data Engineers
Коллеги модели с каким колвом фич обычно продуктивизируете? Достали меня модели по 10к фич, должны ли быть требования к моделям для ДС?
источник

DZ

Dmitry Zuev in Data Engineers
а какая разница?
источник

AZ

Anton Zadorozhniy in Data Engineers
Lookuut Struchkov
Коллеги модели с каким колвом фич обычно продуктивизируете? Достали меня модели по 10к фич, должны ли быть требования к моделям для ДС?
У каждого промышленного процесса есть стоимость, ДС должен понимать ее порядок, иначе экономика не сойдётся; если новая версия модели заработает очень много денег - то почему бы не 10К фич
источник

AZ

Anton Zadorozhniy in Data Engineers
Но скорее нет, для обычных моделей и ансамблей фич обычно десятки или сотни (и там дальше они редуцируются часто)
источник

DZ

Dmitry Zuev in Data Engineers
Я считаю что это дело сатанистов
источник

DZ

Dmitry Zuev in Data Engineers
До тех пор пока оно может работать в продакшене
источник