Size: a a a

2021 September 16

AZ

Anton Zadorozhniy in Data Engineers
но из коробки умеет и интел и арм
источник

ИК

Иван Калининский... in Data Engineers
благодарю
источник

N

Nikita Blagodarnyy in Data Engineers
а вот на прошлом спарк саммите чувак из нвидии рассказывал про джойны на гпу, они какой-то специальный модуль написали для векторизации вычислений?
источник

AZ

Anton Zadorozhniy in Data Engineers
тут вроде есть люди из нвидии, мне тоже интересно
источник

A

Alex in Data Engineers
там же весь тангстен и пилили с выносом в офхип чтобы в пересперктиве и в нативку отдавать и на гпу модули делать
источник

AZ

Anton Zadorozhniy in Data Engineers
я не вижу особого смысла в джоинах на GPU если честно
источник

AZ

Anton Zadorozhniy in Data Engineers
как и в базах на GPU
источник

AZ

Anton Zadorozhniy in Data Engineers
но нвидию понять можно, надо куда-то их девать
источник

DT

Dmitry Titov in Data Engineers
Там же вроде упирается в том, что туда сюда дорого передавать. (хотя там были видеокарты от nvidia с ссд на 2тб встроенными в них)
источник

AZ

Anton Zadorozhniy in Data Engineers
this
источник

AZ

Anton Zadorozhniy in Data Engineers
мы обычно везде упираемся в пайплайн с диска до ALU, а не в сами ALU (за исключением DL с друзьями)
источник

A

Alex in Data Engineers
автовекторизация уже давно
в 17 дали до доступ руками куски кода писать

апи мне больше нравится чем в дотнет, так как выбор ширины вектора будет происходить в рантайме в зависимости от того какое железо (sse, sse2, avx....)
в дотнет приходится явно работать с нужными методами (Sse отдельно, Sse2 отдельно, avx отдельно)

то есть в перспективе в java при обновлении железа и добавлении новых инструкций всё просто начнёт работать быстрее

но это не точно
источник

DT

Dmitry Titov in Data Engineers
https://www.nvidia.com/en-us/geforce/news/rtx-io-gpu-accelerated-storage-technology/

Хотя наверное такое может быть интересным.
источник

AZ

Anton Zadorozhniy in Data Engineers
но юзкейс этого что-то простое наверное, в плане логики, врядли прям базу держать на куда ядрах
источник

AZ

Anton Zadorozhniy in Data Engineers
а, так эт вообще для игр, видимо грузить текстуры да что там
источник

DT

Dmitry Titov in Data Engineers
Ну сейчас для игр да, а так наверное может помочь и с этой проблемой.
источник

N

Nikita Blagodarnyy in Data Engineers
Ждем когда КХ затолкает свои векторные векторы на ГПУ.
источник

AZ

Anton Zadorozhniy in Data Engineers
это не узкое место, большую часть любого джоина занимает переливание таблиц, я пока плохо представляю как оно может помочь
источник

AZ

Anton Zadorozhniy in Data Engineers
данных для джоина просто нет на узле, их надо передавать по сети и писать куда-то, так что тут скорее нвидийские инвестиции в меланокс интереснее
источник

DT

Dmitry Titov in Data Engineers
nvidia уже запихивала несколько функций для GROUP BY и сортировку вроде.

https://github.com/ClickHouse/ClickHouse/pull/11083
https://github.com/ClickHouse/ClickHouse/pull/10232
источник