а не " вот тебе код, разбросай по ядрам" )

хм, посмотрел сейчас api tensorflow. мб для начала попробую его) у меня как раз есть проект в работе где много вращений матриц, а у него прям чуть ли не dropin замены для моего кода нашлись.

но, конечно, надо тестить

не использую тензорфлоу, пишу сам, но вам с матрицами скорее всего в самый раз

про матрицы и линал, гляньте еще BLAS

может оно и еще лучше будет

С точки зрения человека, который специализируется на написании прог для параллельных вычислений, вполне возможно не печатляет)) В го идея в том, чтобы сделать это удобным и по сути свести к асинхронным вызовам.

ну оптимизации - это хорошо. но, будем откровенны, на них рехнуться можно. ведь даже SMP не такой уж и Symmetric с точки зрения доступа к памяти)  если же речь еще и про MPI, то, в идеале, надо учитывать архитектуру кластера для минимизации траффика. если еще есть IO, то в случае с тем же hdf5 можно подбирать размер шардов, сжатие и тд. а ведь еще уровень ниже. Например на уровне юзерспейса та же Lustre дает возможность оптимизировать IO за счет управления страйпингом.

так что оптимизировать нужно конкретную задачу под конкретный сетап) и то, если человекочасы на оптимизацию окупают сокращение человеко или компьютеро часов на продакшн работу)

ну, в общем, вопрос не только в стоимости человекочасов, сколько во времени, например, вам валятся данные с сети метеодатчиков, коих много и хочется каждый день иметь уточнение прогноза (то есть перестроение модели), а если модель престраивается больше трети суток, то как бы уже и не надо )

ну для такой воспроизводимой задачи (да еще, наверное, и под конкретное железо) - безусловно) наука же, обычно, один раз запустил и ок)

ну не знаю, эту систему я как раз для знакомого океанолога кодил под его кандидатскую

наука не сводится только к построению поков )

Пайторч попробуй, работает как нампай. Не придется няшится с особенностями тензорфлоу (там хоть eager execution давно сделали, но все ещё такое себе)

ну, в pytorch  я нужных функций не нагуглил. а в тензорфлоу прям чуть ли не dropin ) но за совет спасибо)

А что за функции?

на самом деле мне нужна: https://docs.scipy.org/doc/scipy/reference/generated/scipy.ndimage.rotate.html

но ее можно сделать element-wise  что-то в духе https://www.tensorflow.org/graphics/api_docs/python/tfg/geometry/transformation/rotation_matrix_3d  (но на cpu аналогичное поэлементное вращение было в несколько раз медленнее bulk).

хотя вот сейчас нагуглил еще так: https://docs-cupy.chainer.org/en/stable/reference/generated/cupyx.scipy.ndimage.rotate.html обещают, что :
> A NumPy-compatible matrix library accelerated by CUDA

Чекни ето https://pytorch.org/docs/stable/torchvision/transforms.html?highlight=rotate#torchvision.transforms.functional.rotate

это 2д. такого хватает везде. а мне нужно именно  3д

@apredeus @abeliavskaia  о, вы тоже поддались этому поветрию и выпилились из фб?

А есть такое поветрие? Оо