Интересная идея: использовать техники deepfake (это где накладывают реальные лица на лица других людей/актеров) для улучшения игровой графики. Chrintan Trivedi рассказывает, как натянуть такие "фейковые" лица на игроков в FIFA 2018, которые в свою очередь сделаны через моделирование фигур и лиц реальных футболистов.

Сейчас это просто эксперимент, но потенциально — это очень перспективное направление. (И помните, я как-то выше давал ссылку на статью про DX12, где расширена поддержка нейронных сетей, в том числе для задач улучшения изображения?)

https://towardsdatascience.com/using-deep-learning-to-improve-fifa-18-graphics-529ec44ea37e #ai #ml #deepfake #games

Неожиданная ниша для AI, которая еще несколько лет назад казалась фантастикой из-за недоразвитости технологий, а уже завтра может встать на поток в медиа-индустрии.

Стартап Voicery, поддержанный Y-Combinator, предлагает компаниям сформировать свой уникальный (сгенерированный) голос, который будет дополнением к общему бренду.

Почему это интересно компаниям? Потому что такой голос можно использовать во внешних коммуникациях, он всегда будет один и тот же и не требует дополнительных контактов с человеческим носителем (со всеми вытекающими в виде зависимости от поведения того или иного персонажа). Конечно, есть тонкость в том, что (пока) для изначальной генерации голоса все же требуется "живой" образец, скажем, нанятый вами актер.

Помимо атрибута бренда у таких технологий есть еще несколько перспективных ниш. Первая — это возможность актерам или дикторам "сдавать" в аренду свой голос. Представьте, что вы могли бы купить 5 минут голосом вашего любимого артиста/певца/оратора и т.п., например, чтобы озвучить мультфильм? Вторая — это возможность "продлить" жизнь узнаваемым гососам, в том числе после смерти актера. Ну и третья — это, конечно, всевозможные фейки, пранкерство и т.п.

https://www.fastcodesign.com/90166206/the-future-of-branding-synthetic-voices-that-sound-100-human #ai #voice

В Guardian вышла очень крутая новость. Это просто неимоверно круто. Я как-то около года назад ходил со схожей идеей, рассказывал коллегам, что у них связки, язык и т.п. шевелятся, а мышцы напрягаются, когда они говорят про себя (удивительно, но не все про это догадываются!). И что, в теории это все можно померить, обучить сеточку и использовать как ввод.

Но если я просто ходил с идеей (сейчас расскажу, почему это круто), то тут прямо уже работающий прототип. Ребята крутые. Не знаю, что там с патентами, но если вы хотите делать что-то железячное, про ИИ и нейроинтерфейсы, то это вот прямо очень горячий пирожок. Хватай и делай. Да, много вопросов: как сделать sexy, чтобы как у Apple, как сделать адаптивным, мультиязычным и т. п. Но это будет огромный рынок.

Во всей истории с голосовым интерфейсами, будь то ассистенты, умные колонки, общение по скайпу или мультиплеер в игре, есть огромная дыра в UX. Имя этой дыре: необходимость говорить публично голосом. Мало того, что многие этого просто не могу это делать, ещё больше людей оказываются скованными от такого опыта сиюминутными ограничениями. От не хочется шуметь до стесняюсь говорить вслух. От очень личного до совершенное секретного. Да что там многие. Все!

Да, я тут умалчиваю о рекламных, шпионских и военных применениях. Speechless - это будущее голосового рынка. https://www.theguardian.com/technology/2018/apr/06/researchers-develop-device-that-can-hear-your-internal-voice #speechless #ai #interface #voice #silent #speech

Научная статья от авторов: https://dam-prod.media.mit.edu/x/2018/03/23/p43-kapur_BRjFwE6.pdf

Немного истории Hololens от создателей, включая фотки прототипов! https://blogs.microsoft.com/bayarea/2018/04/03/new-lens-on-reality-hololens-system-design-team/ #hololens #mr #history

Про прикладной AR/MR/VR. А ближайшие выходные (13-15 апреля) наши друзья из AVRA проводят в Москве новый хакатон для проектов по дополненной и виртуальной реальности.

Если вы, как говорится, в теме, и думаете, чем полезным заняться, очень рекомендую заглянуть и сделать что-нибудь прикольное, скажем, под Windows Mixed Reality. 😉

https://avrahackathon.ru #ar #mr #vr #hacking

Если вы занимаетесь разработкой под VR, то вот отличный рассказ о том, как проектировать, точнее прототипировать решения на бумаге и дальше их тестировать. https://blog.prototypr.io/vr-paper-prototyping-9e1cab6a75f3 #VR #UX #prototype #paper

Большая порция новых выступлений/мнений и т.п. про искусственный интеллект от MIT. Выложили видео с недавней конференции EmTechDigital, посвященной целиком теме AI. Ключевые темы:
— Свежие исследования AI
— AI в Азии
— Измерение интеллектуальности
— Этика в AI
— Индустриальный вклад AI

https://events.technologyreview.com/video/?event=emtech-digital&year=2018 #ai #content

Одна из классических сложных задач в разработке игр - реалистичная анимация персонажей. Игровая индустрия, вслед за анимационной и кино-индустриями, прошла длинный путь от сложных "ручных" алгоритмов до специальных систем трекинга для переноса движений с реальных объектов. Следующий большой шаг - научить компьютер самостоятельно анимировать движения и научиться, как правильно. Deep Mimic от исследователей их UC Berkeley решает именно такую задачу.

Обзор: https://www.engadget.com/amp/2018/04/11/ai-teaches-itself-stunts/

Подробности: http://bair.berkeley.edu/blog/2018/04/10/virtual-stuntman/

MIT Technology Review рассказает про работу команды из Университета Вашингтона, которая пытается воспроизвести поведение собаки на основании визуальных данных. Если быть точнее, то задача ставится так: можно ли предсказать движения животного по тому, что она видит? Вся задача бьется на несколько вопросов (подзадач):
1) Можно ли предсказать движения тела по нескольким последовательным кадрам?
2) Можно ли спланировать движение животного на пути от места на одном изображении к месту на другом?
3) Можно ли, используя обученную модель, предсказать, где можно ходить на предоставленном изображении?

Выводы: для предсказания поведения "умного агента" достаточно визуального входа, причем внутренее представление построенной модели отличается от аналогичного для задачи классификации изображений, а сама модель может быть обобщена на другие домены.

Переводя на простой язык, модель, построенную на базе поведения животного  (что видит -> что делает), можно не только использовать для предсказания такого поведения, но и для анализа самого пространства (пути прохождения, выделение "ходимых" поверхностей и т.п.). Причем потенциально для разных животных мы будем получать разные полезные свойства.

Обзор: https://www.technologyreview.com/s/610775/this-ai-thinks-like-a-dog #ai #nature #simulation

Подробности: https://arxiv.org/pdf/1803.10827.pdf

Сегодня смотрим российский финал Imagine Cup. Пришёл просто посмотреть, а посадили в жюри судить. https://m.habrahabr.ru/company/microsoft/blog/353508/ #students #cosmos #future #innovation

В тему понедельника — Zhiliang Xu рассказывает, как в одну команду поднять свой сервер Shadowsocks на Azure Container Instances (благо для Shadowsocks появился готовый docker-образ). Конечно, при условии, что у вас есть Azure-подписка.

Кстати, в этом смысле, интересно отметить что сам проект Shadowsocks вырос из настойчивого стремления китайцев обходить интернет-цензуру. Правда, когда изначальному автору проекта в дверь постучала полиция, он быстренько свернул проект, но форки уже разошлись по GitHub'у.

Сегодня же проект массово используется в самых разных сценариях — от проксирования через корпоративные файрволлы и личного просмотра трансляции мероприятий в "нецелевых" странах до обхода адаптации сайтов (например, цены на билеты).

https://blogs.msdn.microsoft.com/zhiliang_xus_blog/2018/01/04/run-shadowsocks-in-azure-container-instances/

Tom Hulme (главный партнер в Google Ventures) рассказывает, что детей нужно учить креативности, а не программированию. Потому что машины будут кодить лучше.

1. Наша образовательная среда должна помогать детям научиться использовать воображение для создания оригинальных идей и значений. Креативность в широком смысле - от искусств до математики.
2. Каждая работа, включающая повторяемость находится под риском уничтожения. Нужно готовить детей к "ролям, которые сложно автоматизировать". Но опять-таки, это не исключает необходимости базовых знаний.
3. Больше не будет одного на всю жизнь интенсивного периода обучения, поэтому важно привить детям любовь к изучению (как процессу).
4. Сегодня уже не очевидно, нужно ли учить детей кодить. Важно понимать, как  устроены языки и алгоритмы, но скоро сам код будет писаться машинами.
5. Также не очевидно, нужно ли учить второй, третий и т.п. языки. Машины будут переводить в реальном времени лучше. Но знание языка как способ понять мышление других народов — ценно.
6. В дополнение к креативности - важны критическое мышление и цифровая грамотность. Выбор источников информации, умение задавать непредвзятые вопросы.
7. Фильтрующие (социальные) пузыри, когда мы общаемся с теми, кто похож на нас, приводят к формированию дыры в эмпатии. Это удобно, но столь же опасно, потому что мы перестаем понимать друг друга и человечество.

www.wired.co.uk/article/children-coding-education-change-machine-learning-ai-creativity #future #kids #creativity

В Google есть команда быстрых UX-исследований (Rapid Research), которая целиком специализируется на том, чтобы в ограниченные сроки (одной недели!) приносить разумные ответы на сложные вопросы. Звучит фантастично, да?

Heidi Sales, менеджер команды, рассказывает, как это устроено внутри.

Команда работает недельными циклами, причем каждый цикл начинается и заканчивается в пятницу:
— Пятница (kick-off): определиться, что мы хотим узнать. Нужен внятный вопрос для исследования и стартовые материалы (наброски дизайна, прототипы, скетчи).
— Понедельник (pilot): пилотируем проведение исследования, обычно, на внутренних сотрудниках. Подстраиваем опросники, гайды, прототипы и т.п.
— Вторник/среда (research): в лаборатории или в полях проводим исследовательские сессии. Попутно начинаем вытягивать инсайты и материалы для финальной презентации. Важно постараться вовлечь стейкхолдеров в наблюдение за исследованием (лично или удаленно). После каждой сессии небольшой разбор полетов, чтобы убедиться, что все все одинаково понимают.
— Четверг (preparation): подготовка финальной презентации, сведение слайдов воедино, учет обратной связи. Также отличная возможность подтянуть релевантные исследования из прошлой работы.
— Пятница (read-out): презентация результатов с обобщениями, цитатами, нарезками видео/гифками. Сюда же включается краткое описание методов исследования, профили участников и инсайты относительно предмета исследования.

Советы для быстрых исследователей:
— Делайте заметки. Максимально автоматически. Например, в таблице для заметок автоматически выставляются временные пометки, чтобы потом было проще находить нужные фрагменты на видео. Для аудио можно автоматически генерировать транскрипт в текст.
— Подготовка результатов с первого дня. С самого начала можно собирать цитаты, выявлять паттерны и даже редактировать видео.
— Дублирование. Как минимум два исследователя на один проект. Так можно дополнить друг друга и проверить, что, например, одинаково поняли ситуацию.
— Не загоняйтесь. Не более 5 участников в день. Меняйте роли.
— Комбинируйте методы. Вместо детальных заметок можно делать зарисовки. Можно использовать камеру ноутбука для записи манипуляций с телефоном перед ним. А с участниками иногда полезно пообщаться, обсудить их действия.

https://medium.com/mixed-methods/rapid-ux-research-at-google-3b92dd038e30

Тут ребята из Graz University of Technology в Австрии развлекаются с дронами и Hololens, симулируя "рентгеновское зрение" через стенку.

Представьте, что у вас есть схематичная модель помещения (например, сделанная по 3D-планам или формируемая динамично из облака точек). Вы стоите за стенкой, а внутри летает небольшой дрон с камерой. Через очки виртуальной реальности вы можете указывать дрону, куда ему подлететь и что показать. А сами можете переключаться между видами: от своего первого лица, со стороны, или от лица дрона.

Вся эта история может также реализовываться в VR.

https://spectrum.ieee.org/automaton/robotics/drones/see-straight-through-walls-by-augmenting-your-eyeballs-with-drones #drones #vr #mr #hololens

Почему это круто?
1. Иметь рентгеновское зрение — мечта людей со времен появления Супермена, если не раньше.
2. Это еще один эксперимент в области удаленных аватаров, когда мы можем не просто смотреть 360-видео какого-то места, а получаем эффект удаленного присутствия с погружением. Причем, дрон дает даже больше динамических возможностей по сравнению с человеко-подобными аватарами. (Отдельный вопрос — это восприятие такого наблюдателя участниками фактической сцены.)
3. Ну и масса применений — от военных операций и пейнтболла до "залезть через узкий проход в пирамиду Хеопса и увидеть все как бы своими глазами".

Если вы вдруг пропустили (примерно как я неделю назад проглядел полноту анонса за крутыми гифками мелькавшими в ленте): Leap Motion разрабатывает свой шлем дополненной реальности. Причем железо и связанное программное железо будут опенсорсными.

Почему это важно?
1. Каждый новый игрок в сфере AR/MR/VR расширяет общую историю, вносит новую перспективу или точку зрения. Leap Motion тут неслучайный игрок — компания давно сидит в нише естественных интерфейсов, которые критичны для AR/MR/VR. А их сенсоры для захвата движения рук начали приделывать к шлемам виртуальной реальности еще до того, как они сами выпустили соответствующую редакцию.
2. Путь Leap Motion от сенсоров удаленного считывания информации к шлемам в чем-то похож на путь Microsoft от Kinect к шлемам Hololens. Но примерно так же, как технологии Kinect были важны для построения карты пространства, технологии Leap Motion (или аналогов) становятся важны для трекинга движения рук, как более естественного способа управления, чем контроллеры (хотя я лично думаю, что тут всегда будет какая-то смесь).
3. Не понятно, насколько история с собственным шлемом важна для Leap Motion как отдельный продукт, так как сейчас это скорее позиционируется как исследовательский проект. Но даже тут видна амбиция вывести на новый уровень именно UX-составляющую, что особенно важно, когда в индустрии явно наблюдается кризис развития систем управления.

Анонс: http://blog.leapmotion.com/northstar
Детали: http://blog.leapmotion.com/our-journey-to-the-north-star
#ar #mr #vr #hands #tracking

Практичное про цифровую трансформацию. Мы с коллегами потихоньку разрабатываем методологию про то, "как думать про трансформацию", чтобы полезно, реалистично и приземленно, но с потенциалом. И постепенно начинаем выпускать ее наружу.

Один из примеров — воркшоп по цифровой трансформации для Сибура, который делают наши друзья из AI Community в Томске в ближайшую субботу (21 апреля). Воркшоп проходит целиком по нашей методологии и с участием наших модераторов, поэтому если вы:
1) хотите понять, что скрывается за цифровой трансформацией на практике,
2) хотите устроиться в Сибур на реально крутые проекты или пообщаться с моими коллегами из Microsoft,
3) стать частью растущего AI Community и (это важно!)
4) живете в Томске или будете проезжать мимо, то:

Приходите на воркшоп! Регистрация: http://ai-community.com/sibur-workshop-tomsk

Bloomberg пишет о планах Facebook наладить разработку собственных чипсетов. Хотя потенциальные направления применения понятны (и это все спекулятивно): от VR-шлемов до специализированных AI-чипсетов для собственных дата-центров, интересно другое!

Это своего рода публичный инсайт, то есть информация, лежащая на поверхности, если знать где искать. Журналисты и, уверен, конкуренты давно научились мониторить как разделы вакансий на сайтах крупных технологических компаний, так и объявления о поиске сотрудников в социальных сетях. На этот раз ребята из Facebook просто написали, что ищут менеджера для "end-to-end SoC/ASIC, firmware and driver development organization". SoC/ASIC — это и есть специализиронный чипсет.

https://www.bloomberg.com/news/articles/2018-04-18/facebook-is-forming-a-team-to-design-its-own-chips #ai #hardware #insight

Про обучение нейронных сетей и аппаратные решения. Группа исследователей из IBM Research продемонстрировала, что нейронные сети можно обучать целиком в пямяти на базе PCM-устройств (около 1 млн ячеек).

PCM (Phase-change memory) - это тип памяти с изменением фазового состояния, который IBM и ряд других компаний уже много лет разрабатывают, пытась создать энерогонезависимый носитель памяти, в котором данные хранятся за счет изменения фазового состояния материала.

В ходе работы команда обучила пару алгоритмов машинного обучения без учителя, которые успешно выявили временные корреляции в неизвестных ему потоках данных. Конкретный алгоритм тут играет малое значение, потому что фокус работы — на ускорении и снижении энергозатрат. Полученное решение показало примерно 200-кратное улучшение по сравнению с классическими компьютерами.

Почему это круто?
1. Фактически речь идет не просто об еще одном носителе памяти, а о весьма специфичной вычислительной модели, отличающейся от классической фон-Неймановской — "accumulation-based computation". PCM-устройства позволяют работать не просто с 0 и 1, но и промежуточными состояниями (кристаллизации), отсюда возникают накопительные эффекты, которые в свою очередь можно использовать для вычислительных задач.
2. Ранее IBM демонстрировала применимость PCM-устройств для организации "нейроморфных вычислений", в которых на уровне железа пытаются смоделировать работу реальных нервных сетей. Тонкость в том, что живые нейроны как раз реализуют в себе обе функции - хранения информации и вычисления, в то время как классическая компьютерная модель разделяет их в отдельные блоки.
3. Когда (или если) это все дойдет до промышленных масштабов, мы получим устройства, способные обучаться существенно быстрее и с меньшим потреблением энергии. Это все капает на мельницу переноса интеллектуальности на конечные устройства все меньшего и меньшего размера.

Анонс: https://www.ibm.com/blogs/research/2017/10/ibm-scientists-demonstrate-memory-computing-1-million-devices-applications-ai

Подробности: https://www.nature.com/articles/s41467-017-01481-9

#ai #inmemory #computing #hardware #pcm

Скоро Build! Написал по этому поводу на выходных для коллег обзор всех прошлых конференций с точки зрения эволюции технологий (облако, естественные интерфейсы и искусственный интеллект).  

В удивительное время мы живем! Пока пересматривал открытия конференции 2011-2017, пустил скупую слезу, вспомнил молодость и подумал, что IT — это все ж очень круто. На глазах Microsoft из корпоративного монстра, замкнутого на себе и своей платформе, превратилась в компанию, для которой партнерство = открытость. Открытость кода, открытость к новым партнерствам, открытость к сообществу, открытость к новым возможностям. Не все еще идеально, но мы боремся. :)

https://news.microsoft.com/ru-ru/features/trendy-tehnologij/

Немножко прикладного кода в ленту. Тут коллеги рассказывают, как использовать Tiramisu (это вариация сверточной сеточки на DenseNet-архитектуре) для задачи сегментации изображений.

Если точнее, то сценарий такой: в ритейл-магазин приходит новая партия товара (одежды), нужно быстро сопоставить ее с существующим каталогом. Альтернативно: сотруднику или покупателю нужно быстро найти информацию по предмету одежды, находящемуся перед глазами. Фактически, нужно реализовать визуальный поиск, в котором сотрудник сможет по фотке с мобильника, найти соответствующую вещь в каталоге.

Тонкость в том, что фотка с мобильного может быть зашумлена фоном, поэтому для корректного сравнения желательно на лету сделать обтравку изображения. А это и есть один из вариантов задачи сегментации.

Обзор: https://www.microsoft.com/developerblog/2018/04/18/deep-learning-image-segmentation-for-ecommerce-catalogue-visual-search/
Исходный код: https://github.com/CatalystCode/image-segmentation-using-tiramisu/

#ai #ml #practice