AE
универсальных потребностей не бывает потому что не бывает универсальных задач. кому-то надо сложно копаться в данных, а кому-то надо заряжать терабайты в числодробилку
Size: a a a
2020 September 18
AE
соответственно и код будет выглядеть совсем иначе
AE
я был бы очень рад обойтись каким-нить sql-ем, чтобы сджойнить мои миллионы записей с миллиардами, но на таких объёмах кластерный оракл будет дорогой как чёрт знает что. на спарке отлично получается делать всё то же самое, но только солнышко приходится закатывать вручную временами
N
я был бы очень рад обойтись каким-нить sql-ем, чтобы сджойнить мои миллионы записей с миллиардами, но на таких объёмах кластерный оракл будет дорогой как чёрт знает что. на спарке отлично получается делать всё то же самое, но только солнышко приходится закатывать вручную временами
Вы при этом не используете DataSet-API ? Или про рдд это не оттуда?
AE
была бы схема, юзал бы датасеты. но схема у меня возникает в контексте каждой мелкой задачи, коиз десятки, и как ею управлять, нормального способа не нашёл
AE
и с субд пришлось бы сотнями вьюх обкладываться на лету
DZ
Яннп. Для такого есть датафреймы
AE
в общем, невменяемым задачам — невменяемые решения ¯\_(ツ)_/¯
DZ
Помянем
AE
ну, они работают, и даже какое-то бабло приносят
AE
рано хоронить :)
DZ
Да не решение. А что приходится такое делать, ещё и на джаве
AZ
В СУБД разные технологии есть, к примеру можно написать логику хоть на Go и стримить данные параллельно со всех узлов и делать что там нужно, для каких-то сценариев это очень удобно
OA
В СУБД разные технологии есть, к примеру можно написать логику хоть на Go и стримить данные параллельно со всех узлов и делать что там нужно, для каких-то сценариев это очень удобно
Почему бы не написать логику на SQL
OA
OA
И фронтенд тоже.
DZ
Oleksandr Averchenko
Почему бы не написать логику на SQL
Вы молодые, смешливые. Не надо вскрывать эту тему
AZ
Oleksandr Averchenko
Почему бы не написать логику на SQL
переписать XGBoost на SQL, и всем будет удобно!
OA
переписать XGBoost на SQL, и всем будет удобно!
Как два пальца об асфальт.
OA
