СХ
fcos+cuda
Size: a a a
2020 August 03
СХ
Еще и спарк до 3 принесет много эмоций с wide-transformations :)
ну моя задача в спарке будет брать данные из пг\mssql и делать задачи которые поставят через airflow
СХ
а задачи чистый матан
UD
Найфай им поставь и забей
СХ
вычисления, уровнения
UD
СХ
Найфай им поставь и забей
посмотрим
СХ
там основная идея именно в рассчётах
СХ
там в расчёте может быть до 500000 млн вариантов
UD
>спарк
>числодробилка
>числодробилка
UD
отказать
СХ
и кол-во вариантов которые надо просчитать задаётся в задачи
СХ
отказать
?
АЖ
ну моя задача в спарке будет брать данные из пг\mssql и делать задачи которые поставят через airflow
Ну так если там 255 визколумн с пандас юдф, то эфемерные диски тебе скажут много хорошего :)
СХ
Ну так если там 255 визколумн с пандас юдф, то эфемерные диски тебе скажут много хорошего :)
нет там ни пандас нихрена, там есть алгоритмы, есть даные в postgresql, которые переносятся в ignite на время рассчётов
АЖ
Дык а чо, алгоритмы на спарке и на скале?
СХ
и есть задача, рассчитай мне вот это, вот кол-во переменных
UD
звучит как непонятая задача
АЖ
Если там юдф на пейтоне, то желаю терпения
СХ
Дык а чо, алгоритмы на спарке и на скале?
алгоритмы пока на питоне, переписываться будут на скалу