GP
V. M.
кто то вообще кластеры через GPU строил?
Да
Size: a a a
2020 December 19
AT
👍
VM
как оно??
GP
V. M.
как оно??
хорошо
GP
V. M.
у ребят из нвидии спрашивать про GPU.
ну они как бы ОЧЕНЬ ЗАИНТЕРЕСОВАНЫ чтобы видяшечка тащила всё в n раз быстрее т.е. они предвзято будут судить как по мне
ну они как бы ОЧЕНЬ ЗАИНТЕРЕСОВАНЫ чтобы видяшечка тащила всё в n раз быстрее т.е. они предвзято будут судить как по мне
тут хорошие ребята по делу консультируют давайка не бычить
ME
А для добавления gpu в кластер надо с кубером что-то придумывать, emr не может же вроде такого?
ME
Ну или на ec2...
GP
Al T
моя не смотрел, можно ссылочку плз?
https://youtu.be/hQI-QYJXlVU @ 2h:30m гдето
AT
А для добавления gpu в кластер надо с кубером что-то придумывать, emr не может же вроде такого?
AT
c 6.2.0
GP
Ето сама презентация*
PK
V. M.
у ребят из нвидии спрашивать про GPU.
ну они как бы ОЧЕНЬ ЗАИНТЕРЕСОВАНЫ чтобы видяшечка тащила всё в n раз быстрее т.е. они предвзято будут судить как по мне
ну они как бы ОЧЕНЬ ЗАИНТЕРЕСОВАНЫ чтобы видяшечка тащила всё в n раз быстрее т.е. они предвзято будут судить как по мне
Привет от ребят из Нвидии. Канеш мы заинтересованы, чтоб на GPU тащило хорошо, чтоб вы GPU покупали. Но ток для этого оно действительно должно тащить, поэтому работы еще много. По факту презентацию Самира с последнего митапа кидали выше. Мы тести Spark GPU для нашей дата платформы. Пока результаты смешанные. Есть некоторые запросы, на которых GPU быстрее, есть некоторые где медленней. У RAPIDS плагина довольно много CUDA-специфичных настроек, с которыми надо играться, как-то количество CUDA тредов, работа аллкатора памяти. Кароч как и в обычном Спарке нужно сидеть и тюнить
PK
Из хорошего: ридеры паркета на GPU реально шустрее, чем CPU как бы странно это не звучало. 2) Оно просто работает. Там, где может меняет физические операторы на GPU версии, гден не может фолбэчится на CPU. Это плохо, конечно, потому что перекидывание данных из систменой памяти в GPU убивает весь профит, но первоначальная задача была сделать drop-in replacement. А потом уже запиматься оптимизацией.
NN
Из хорошего: ридеры паркета на GPU реально шустрее, чем CPU как бы странно это не звучало. 2) Оно просто работает. Там, где может меняет физические операторы на GPU версии, гден не может фолбэчится на CPU. Это плохо, конечно, потому что перекидывание данных из систменой памяти в GPU убивает весь профит, но первоначальная задача была сделать drop-in replacement. А потом уже запиматься оптимизацией.
А почему именно паркет, а не тот же орк?
ME
Из хорошего: ридеры паркета на GPU реально шустрее, чем CPU как бы странно это не звучало. 2) Оно просто работает. Там, где может меняет физические операторы на GPU версии, гден не может фолбэчится на CPU. Это плохо, конечно, потому что перекидывание данных из систменой памяти в GPU убивает весь профит, но первоначальная задача была сделать drop-in replacement. А потом уже запиматься оптимизацией.
А вы юзаете фичу, когда видюха сразу с диска тянет данные, без процессора?
GP
А почему именно паркет, а не тот же орк?
орк тож быстрее должен быть (в доке сказано)
PK
А почему именно паркет, а не тот же орк?
Я ток паркет просто пробовал
PK
А вы юзаете фичу, когда видюха сразу с диска тянет данные, без процессора?
Gpu direct store? В разработке
А
Кто какие проекты ведёт для души в свободное время?