Обновляйте в каждом батче макс мин и вновь приходящие данные нормируйте этим.

Попробую, спасибо

Кажется мы просто постоянно храним текущее самое большое и самое меньшее значение и нормируем новые приходящие значения по ним. Начнётся неточно, но чем больше данных - тем точнее будет

Пока звучит как самый простой для реализации вариант

Кажется мы просто постоянно храним текущее самое большое и самое меньшее значение и нормируем новые приходящие значения по ним. Начнётся неточно, но чем больше данных - тем точнее будет

Но каких-то встроенных штук нет под такую нужду?

Вроде описанное и является встроенными средствами?

Может быть это как-то прикрутить?
https://spark.apache.org/docs/latest/ml-features#minmaxscaler

Может, кто скинуть ссылку на хороший канал в телеграмме для джавы?

Или может тут кто может со спрингом помочь?

Спасибо

Окей, спасибо!

Вроде описанное и является встроенными средствами?

Может быть это как-то прикрутить?
https://spark.apache.org/docs/latest/ml-features#minmaxscaler

Добрый день, тут есть успешные пользователи kfserving?

Всем привет - столкнулись с проблемой в Google cloud -  может у кого был похожий кейс - пропадания хартбита и вследстии этого завершения работы спарка с ошибкой? корректно проходит много итераций обучения модели и примерно через 5 часов на очередной итерации нет ответа от драйвера насколько я понимаю и вылетает
ERROR Executor: Exit as unable to send heartbeats to driver more than 60 times
До этого падало при таких же обстоятельствах но с classNotFoundExceptioin - т.е. проходили интерации норм но после 5 часов работы программа не могла найти класс который до этого использовала( первым делом подумали про то что может гарбедж коллектор удалял класс из jvm  но промониторили память там вроде все ок без аномалий
 В логах ошибки написано что  можно увеличить хардбит но это костыльное решение насоклько понимаю - возможно это изза каких то проблем сетью?
Заранее спасибо кто чем мыслями поделиться)

Всем привет! А какая fraction памяти спарк используется для сжатия данных для спилла (storage ?). Что еще можно сделать для избежания редких оом при спиле ? (больше партиций ?)

+ бороться с перкосами данных

Привет!
Кто-нибудь видел у спаркового джоба ошибку
Task exited with return code -8
Чота вообще ничего найти не могу, падает на этапе to_pandas