Size: a a a

AI / Big Data / Machine Learning

2016 August 25

A

Andrey in AI / Big Data / Machine Learning
Dan 🐈 Capybara
кстати на питоне либы есть очень хорошие для бигдаты. тотже пипай вроде умеет хорошо. я деталей сейчас уже не вспомню, но могу поискать материалы с трёхлетней давности конференции по python, где как раз обсуждали работу с CUDA на python и обработке реально больших данных
Если библиотека умеет обрабатывать данные, читая их порциями с диска, то более или менее успешно ее можно отмасштабировать на какие угодно объемы
источник

D🐈

Dan 🐈 Capybara in AI / Big Data / Machine Learning
и кстати доклад был не совсем на тему CUDA, а скорее на тему что узкие места они заменяли с кода на питоне кодом на Си
источник

D🐈

Dan 🐈 Capybara in AI / Big Data / Machine Learning
)))
источник

D🐈

Dan 🐈 Capybara in AI / Big Data / Machine Learning
в кулуарах после чего обсужадали скорости в узких местах.
источник

D🐈

Dan 🐈 Capybara in AI / Big Data / Machine Learning
как впрочем обычная практика, на встрече рельсовиков мериться RPS-ами )
источник

A

Andrey in AI / Big Data / Machine Learning
А вот поделитесь подходами, как быть с задачами типа сборки геномов
источник

AY

Andrew Ya in AI / Big Data / Machine Learning
объем данных какой? десятки, сотни терабайт?
источник

D🐈

Dan 🐈 Capybara in AI / Big Data / Machine Learning
Andrew Ya
объем данных какой? десятки, сотни терабайт?
про капилляры не помню, поэтому не скажу, чтобы не соврать.
источник

D🐈

Dan 🐈 Capybara in AI / Big Data / Machine Learning
но интуитивно догадываюсь что речь о десятках Тб
источник

A

Andrey in AI / Big Data / Machine Learning
Там все данные обычно в ОЗУ должны быть, т.к. строится громадный граф и распределить процесс эффективно не получается
источник

AY

Andrew Ya in AI / Big Data / Machine Learning
раз уж речь про CUDA зашла - нет ли здесь, случайно, людей, осиливших распараллелить обучение нейросетки (Tensorflow+Keras) на несколько видеокарт?
источник

A

Andrey in AI / Big Data / Machine Learning
У меня нескольких видеокарт нету, но видел занятный промо-ролик нвидиа
источник

A

Andrey in AI / Big Data / Machine Learning
Там где они DIGITS рекламируют. Был некий веб-интерфейс, из которого все настраивалось для работы на нужном количестве видях
источник

AY

Andrew Ya in AI / Big Data / Machine Learning
это не под CuDNN ?
источник

A

Andrey in AI / Big Data / Machine Learning
Это надстройка над cuDNN
источник

AY

Andrew Ya in AI / Big Data / Machine Learning
занятная штука. спасибо
источник

VS

Vladislav 👻 Shishkov in AI / Big Data / Machine Learning
Что выбираем?

Python – 25
👍👍👍👍👍👍👍 47%

R+Python – 21
👍👍👍👍👍👍 40%

R – 6
👍👍 11%

Other – 1
▫️ 2%

👥 53 people voted so far. Poll closed.
источник

VS

Vladislav 👻 Shishkov in AI / Big Data / Machine Learning
Элегантно и просто 😁
источник

A

Andrey in AI / Big Data / Machine Learning
101% в сумме:)
источник

VS

Vladislav 👻 Shishkov in AI / Big Data / Machine Learning
Andrey
101% в сумме:)
округление, оно такое 😁
источник