AZ
ради моего интереса, сколько строк и фич в этом скоринг джобе?
Size: a a a
2021 November 03
ЕГ
Ну допустим 3000 фич и 1млрд строк
ЕГ
Даже меньше
DZ
лярд строк? китайский банк шоле?
ЕГ
Просто когда у вас появляется какой-то инструмент, вы можете решить задачу, когда у вас появляется удобный инструмент, вы можете перерешать кучу задач)
ЕГ
Ну в банке например можно транзакции скорить на предмет отклонений
ЕГ
Подтыкая фичи клиента
ЕГ
Я думаю там можно и петабайты при желании набрать
AZ
обычно не ждут пока миллиард накопится, в таких случаях
DZ
тогда их не надо все целиком читать ваще
ЕГ
А если исторические решили посмотреть
ЕГ
За месяц миллиард транзакций не наберётся?
DZ
это лишь значит что у тебя bounded операция, ей не нужно всё в памяти
ЕГ
А кто говорит что нужно всё в памяти
ЕГ
Нужно поскорить)
ЕГ
На <RDBMS_name>)
ЕГ
На кликхаусе, например
ЕГ
AZ
я-то целиком на вашей стороне если что, надо всегда выбирать технологию которая сможет отскейлится на все население Земли (умноженное на три), просто на всякий случай, это называется future proof!
ЕГ
Надо всегда выбирать технологию, с которой потом будут на спарк переписывать