В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

AI / Big Data / Machine Learning

4294 membersпожаловаться на группу
2020 February 02

AS

Alex Surname in AI / Big Data / Machine Learning
Appa
Я вот как-то нарыл библиотеку Nvidia NCCL, типа она для multi-gpu вычислений, и может распараллеливать даже по нескольким узлам, по сети. Но опять же, это я так понимаю , примочка работающая в связке с cuda, TF уже поверх них обоих работает.
Так и в чем проблема?
источник
13:49пожаловаться#1

AS

Alex Surname in AI / Big Data / Machine Learning
Она единое адресное пространство создает?
источник
13:50пожаловаться#2

A

Appa in AI / Big Data / Machine Learning
Alex Surname
У меня такая же проблема, похоже что нельзя, линки между видяхами просто ускоряют копирование памяти между ними судя по всему. Хоровод єто к слову дата паралелізм, а не модел. Торч вроде имеет готовіе механізмі паралелизации
А что там у торча, что за мезанизмы? Дата параллелизация, типо аналог хоровода, или оно как-то автоматизирует разнесение слоёв по gpu чтоб не долбаться с чем-то вроде with tf.device?
источник
13:50пожаловаться#3

A

Appa in AI / Big Data / Machine Learning
Alex Surname
Так и в чем проблема?
Проблема в том что это примочка к cuda, с ней должно идти взаимодействие через  TF, а как там поддержка таких финтов реализованна - я не знаю.
источник
13:51пожаловаться#4

AS

Alex Surname in AI / Big Data / Machine Learning
Dmitry Belkevich
смотрю вот NVSwitch. везде увы только реклама без конкретики
Конкретика в том что у тебе память между устройствами копируется бістрее
источник
13:52пожаловаться#5

AS

Alex Surname in AI / Big Data / Machine Learning
Appa
А что там у торча, что за мезанизмы? Дата параллелизация, типо аналог хоровода, или оно как-то автоматизирует разнесение слоёв по gpu чтоб не долбаться с чем-то вроде with tf.device?
Похоже что модел. https://github.com/NVIDIA/Megatron-LM/blob/master/README.md раздел model parallel
GitHub
NVIDIA/Megatron-LM
Ongoing research training transformer language models at scale, including: BERT & GPT-2 - NVIDIA/Megatron-LM
источник
13:56пожаловаться#6

СВ

Сергей Васильев in AI / Big Data / Machine Learning
ребят, как вывести выход нейрона сверточного слоя. В прикрепе вывел карты признаков сверточного слоя. Теперь хочу подать на вход картинку и посмотреть что зажигается на карте признаков
источник
14:03пожаловаться#7

LP

Lubov Podkolzina in AI / Big Data / Machine Learning
Всем привет! Подскажите, пожалуйста, существует ли датасет старого кириллистического алфавита? (Который применялся при печати до 1917 года, гражданский шрифт)

Может быть кто-то сталкивался?
источник
16:42пожаловаться#8

D🐈

Dan 🐈 Capybara in AI / Big Data / Machine Learning
Lubov Podkolzina
Всем привет! Подскажите, пожалуйста, существует ли датасет старого кириллистического алфавита? (Который применялся при печати до 1917 года, гражданский шрифт)

Может быть кто-то сталкивался?
Датасет алфавита?
источник
16:43пожаловаться#9

LP

Lubov Podkolzina in AI / Big Data / Machine Learning
Dan 🐈 Capybara
Датасет алфавита?
Образцов написания букв из алфавита
источник
16:45пожаловаться#10

y

your-mirror in AI / Big Data / Machine Learning
Λepus
Тут все ответы неверные
Т.е. ничего не нужно было выбирать?
источник
17:33пожаловаться#11

y

your-mirror in AI / Big Data / Machine Learning
Λepus
Тут второй неверный
Почему второй не верен?
источник
17:33пожаловаться#12

y

your-mirror in AI / Big Data / Machine Learning
@Lepusculus И спасибо за ответ )
источник
17:33пожаловаться#13

Λ

Λepus in AI / Big Data / Machine Learning
your-mirror
Т.е. ничего не нужно было выбирать?
1. добавить если линейно-зависимую фичу от имеющейся, например, что получится?
3. регуляризация штрафует веса; очень частая ситуация, что при добавлении её сильно снижаем метрику на трейне, но на тесте метрика тоже немного падает (оверфиттинг при этом сильно падает)
источник
17:36пожаловаться#14

Λ

Λepus in AI / Big Data / Machine Learning
я не знаю, что имелось ввиду в этих вопросах, может, что-то из лекции следовало
источник
17:36пожаловаться#15

Λ

Λepus in AI / Big Data / Machine Learning
your-mirror
Почему второй не верен?
Ну потому что аутпут -- это логистическая функция от линейной.
А регуляризацию мы добавляем в критерий качества.
источник
17:41пожаловаться#16

y

your-mirror in AI / Big Data / Machine Learning
По первому вопросу, я не поверил, что все варианты неправильны, поэтому решил принять их логику: "Все делать как надо".

1. При добавлении еще одного показателя (фичи), всегда будет давать эквивалентный результат или лучше.
Как я понимаю - таких гарантий нельзя дать

3. Аналогично первому, нет гарантий
источник
17:43пожаловаться#17

Λ

Λepus in AI / Big Data / Machine Learning
your-mirror
По первому вопросу, я не поверил, что все варианты неправильны, поэтому решил принять их логику: "Все делать как надо".

1. При добавлении еще одного показателя (фичи), всегда будет давать эквивалентный результат или лучше.
Как я понимаю - таких гарантий нельзя дать

3. Аналогично первому, нет гарантий
Я так подозреваю, что они имели ввиду п.1 всё-таки
источник
18:01пожаловаться#18

Λ

Λepus in AI / Big Data / Machine Learning
логика может быть такая: мы добавляем как угодно распределённую дополнительную степень свободы, это позволяет искать в т.ч. несуществующие зависимости, увеличивает переподгонку и увеличивает качество на трейне
источник
18:05пожаловаться#19

y

your-mirror in AI / Big Data / Machine Learning
Даже, если так, то добавление фичи не гарантирует же нам, что результат тестовой модели будет лучше?
источник
18:08пожаловаться#20