ET
стоить еще перенести не критичные вещи из требований в чтонибудь типа “готов изучить”. Например оставить Scala и GPU/CUDA а AirFlow и Spark сделать опциональными.
Size: a a a
2020 September 07
СХ
мы как-то Scala + ML искали, так и не нашли обычными способами. обычно чем уже требования, тем меньше кандидатов (особенно свободных), и тем больше надо денег.
у нас мл нет, сплошные математические вычисления по сотням алгоритмов
СХ
которые пишут учёные, и которые потом надо переписать с python на scala, перенести вычисления на gpu
СХ
и работать с 3 источниками данных
СХ
и писать кастомные джобы, которые выбирают алгоритмы для последующих вычислений
В
просто CUDA и Scala не особо пересекаются, на мой взгляд, это будет основная сложность
питон и куда тоже не особо пересекаются
В
пересекаются тензор либы, у которых к слову есть api для разных языков
СХ
тк, при вычислении нужны не все алгоритмы а например 30 из 100 или 5 из 100, в зависимости от выбранной задачи пользователем
СХ
то есть, берётся задача, в ней написано что надо сделать, в airflow надо будет создать джобу, которая потом передаст спарку параметры, алгоритмы для вычислений, и какой взять набор данных
λ
и писать кастомные джобы, которые выбирают алгоритмы для последующих вычислений
Сходи ещё в чат дата инжиров
СХ
я там и так сижу постоянно
A
питон и куда тоже не особо пересекаются
С использованием numba вполне себе пересекаются.
λ
Ну если там нет
AY
которые пишут учёные, и которые потом надо переписать с python на scala, перенести вычисления на gpu
а код, который непосредственно с GPU работает - пишется на CUDA C или через обертки?
СХ
а код, который непосредственно с GPU работает - пишется на CUDA C или через обертки?
это уже программист решит, я devops
λ
То врядли тут есть
В
а код, который непосредственно с GPU работает - пишется на CUDA C или через обертки?
ага, через opengl, vulcan
λ
ага, через opengl, vulcan
Opencl, cuda
СХ
мне надо чтобы код использовал gpu а не cpu, тк алгоритмы иначе сразу на 100% грузят проц причём любой
СХ
а nvidia писали что они оптимизированы на вычисления матана на своих gpu и юзайте спарк для этого у них