Вызовы перед VR-индустрией на ближайший год

Полгода назад я составил вот такой список, готовясь к одной из конференций. Как думаете, сколько он еще продержится до реализации в одном устройстве?

Два – 8
👍👍👍👍👍👍👍 62%

Три+ – 4
👍👍👍👍 31%

Год – 1
👍 8%

Полгода
▫️ 0%

👥 13 people voted so far.

Большие мультипликаторы постепенно подбираются к VR - в ноябре Pixar (Disney) общает выпустить CocoVR — опыт по мотивам мультфильма Coco про загробную жизнь в Мексике (сильно напоминает Книгу Жизни, конечно). https://twitter.com/pixarcoco/status/918182544880701441 #vr #animation #movies

Пара интервью на тему AR/MR/VR. Первое — с Тимом Куком, главой Apple, про айфоны, дополненную реальность и как сделать мир чуть лучше и волшебнее.

Несколько выдержек про AR:
1. Кук сравнивает появление ARKit по своему влиянию на будущее с появлением самого iPhone и App Store. AR будет использоваться не "некоторыми категориями людей", а "всеми".
2. Apple делает ставку не на приложения для дополненной реальности как таковые, а на широкий фрейморк из сенсоров и софта, на базе которого разработчики смогут создавать свои приложения (как обычно, с большой ставкой на контроль и интеграцию железа и ПО).
3. Про отдельные устройства для AR: сегодня, чтобы сделать хороший опыт нужны две вещи: 1) сенсоры и вычислительные мощности, которые уже упакованы в iPhone/iPad, 2) коммерческая возможность, то есть наличие устройств и разработчиков на рынке. С отдельным устройством, сегодня не было бы коммерческого потенциала, но Apple, как обычно, не комментирует возможность появления такого устройства в будущем. "Технологиии сегодня не позволяют сделать такое решение качественным."

http://www.independent.co.uk/life-style/gadgets-and-tech/features/apple-iphone-tim-cook-interview-features-new-augmented-reality-ar-arkit-a7993566.html #apple #AR #MR #Future

Второе — с Алексом Кипманом, Technical Fellow в Microsoft и со-автором Hololens. Также несколько выдержек про смешанную реальность.

1. Приложения для социальных коммуникаций будет "killer app" для MR. Это одна из причин того, что Microsoft купила AltspaceVR, платформу для общения в VR. В частности, в будущем стартовый опыт (Cliff House) станет также социальным местом.
2. Про VR на Xbox. Текущие технологии (с проводами и т.п.) не позволяют сделать это удобным, поэтому на сегодня ставка делается на PC, в котором уже есть провода и необходимые мощности в одном месте. VR в Xbox будет, но в будущем.
3. Windows MR — это Windows 10. Поэтому экосистема приложений начинается не с нуля, а с текущих приложений для Windows Store. Разработчик имеет возможность оставаться в рамках единой платформы, но с касмотмизацией под устройство.
4. Про разделение: AR для бизнеса, VR для консьюмеров. "Я не думаю, что это так. Именно поэтому мы называем это смешанной реальностью. В будущем, устройства будут делать и то, и то."

https://venturebeat.com/2017/10/08/microsoft-mixed-reality-guru-alex-kipman-believes-communication-will-be-vrs-killer-app/view-all/ #ar #vr #mr #hololens #windows #mixed #reality #future

В связи с выпуском нового крутого Surface Book 2 и запуском Windows 10 Fall Creators Update :)

Про смену мышления в контексте цифровой трансформации: понимание течения времени, континуум пользователей и данных, новых аспектов безопасности и переосмысление человеческого капитала и гуманной составляющей технологии. Либо так, либо кряк, шмяк, нырк и плеск. https://outofline.ru/про-смену-мышления-в-контексте-трансформации-84b80a3b957f #digital #transformation

Про аудио-измерение AR/MR/VR. Я уже несколько раз писал о том, что spatial audio (пространственный звук) в опыте погружения в любую реальность не менее важно, чем видео канал. Вот еще один взгляд на это от Bilboard в контексте запуска Pixel Buds от Google. По началу может показаться, что речь идет просто о более удобном формфакторе: сделали вкладыши беспроводными, значит не нужно путаться в проводах, плюс получили "цифровой" звук по bluetooth. Но тут же оказывается, что в дополнение идет подавление звука (noise canceling), позволяющее в нужной пропорции фильтровать или смешивать внешние и подаваемые звуки, плюс микрофон для общения. И вот в этом миксе появляются фантастические (ранее) идеи о том, что можно "дополнять" или изменять звуковую картину вокруг. Хотите слышать шумы, но чуть потише? Пожалуйста. Хотите отфильтровать в метро звук колес? Давайте попробуем. Хотите смешать звук на концерте с более "чистым" звучанием? Почему бы и нет. Сюда же все идеи перевода на лету, подстройки музыки под ритм бега и т.п. Большая тема, в общем! :) www.billboard.com/articles/business/7998347/how-augmented-reality-audio-soundtrack-your-life #ar #mr #vr #audio #spatial

Будущее offline-перевода на нейронных сетях не то, чтобы все ближе, а уже прямо-таки накатывает. Команда Microsoft Translator в партнерстве с Huawei делает это возможным в устройствах Mate 10 (не сочтите за рекламу), благодаря новым NPU (Neural Processing Unit), существенно ускоряющим обсчет нейронных сетей. Понятно, что сеточка тоже нехило весит, поэтому примерно также как вы сейчас делаете с картами, загружая пакеты страны или города, вы сможете загружать пакеты для языков. Качество будет улучшать, новость бомбическая, конечно. :) https://blogs.msdn.microsoft.com/translation/2017/10/19/microsoft-huawei-nmt-ondevice/  #ai #machine #translation #offline

Про кастомные чипсеты. Google также включается в гонку за кастомные чипсеты для обработки изображений (IPU, Image Processing Unit). Пока речь идет о Pixel Visual Core, чипсете для процессинга изображений в Pixel 2 и Pixel 2 XL с фокусом на ускорение обработки, HDR-съемку и т.п. Но пример Qualcomm и других производителей показывает и следующий шаг: специализированные чипсеты для помощи распознавания изображений, действий и т.п. https://www.theverge.com/2017/10/17/16487834/google-pixel-visual-core-ipu-custom-processor-chip #custom #hardware #image #vision #chipset

Пятнично-субботнее чтиво: Engadget рассказывается, как проектировался технологичный мир будущего из Бегущего по лезвию 2049 https://www.engadget.com/2017/10/20/designing-the-technology-of-blade-runner-2049/ #future #design

Технологические новости из Мадрида. Испанская команда Exovite в партнерстве госпиталем Gregorio Marañón деляет решение для хирургов, позволяющее быстро получать доступ к снимкам компьютерной томографии и УЗИ. В статье отмечается, что решение (на базе Hololens) делается совместно инженерами, радиологами и хирургами. Текущая версия позволяет сократить время операции с 8 часов до 4.5. www.3ders.org/articles/20171023-microsoft-hololens-mixed-reality-headset-helps-spanish-doctors-cut-surgery-time-in-half.html #mr #medicine #future #is #coming #hololens

Я думаю, многи из вас пробовали или видели Prezi — платформу для создания презентаций из большого холста, с поворотами, масштабированием и т.п. Сегодня авторы инструмента думают, куда его развивать дальше. И один из вариентов — в сторону дополненной реальности, особенно с фокусом на удаленные презентации, в которых хочется одновременно показывать человека и визуальные объекты. https://www.wired.com/story/prezi-augmented-reality/  Пока, правда, больше похоже на просто наложение графики поверх съемки с камерой (в этом смысле это скорее классический AR), но мне лично кажется, что направление мысли очень даже правильное. Посмотреть, как это работает на практике можно в лекции Robert Sapolsky с TED (https://www.ted.com/talks/robert_sapolsky_the_biology_of_our_best_and_worst_selves#t-394609). #AR #presentations #slides #noslides

Возможно, вы спросите, а как же PowerPoint? Так вот, PowerPoint, с точки зрения MSFT, также является частью общего видения концепции смешанной реальности. В свежих версиях вы можете вставить в презентации трехмерные объекты, поворачивать/масштабировать и делать плавные переходы между слайдами. Думается, это тоже только начало. :)

Немного технический пост про дополненную реальность на мобильных устройствах. Если вы пишите на Xamarin, то вот вам две инструкции: 1) использование ARKit на iOS https://blog.xamarin.com/augment-reality-xamarin-ios-11/, и использование ARCore на Android https://blog.xamarin.com/augmented-reality-xamarin-android-arcore/ #ar #mobile #cross #platform

Кстати, про Google. Когда у вас будет перерыв минут на 20 с чаем, печеньками и т.п., открывайте вчерашнюю статью про работу Google X на VC - и читайте, читайте... Очень крутая статья (перевод) и крутой подход к работе с будущим. https://vc.ru/28149-google-x-edinstvennaya-kompaniya-kotoraya-pooshchryaet-issledovaniya-absurdnyh-veshchey #future #design

Вы, наверняка, уже видели (и слышали) про проект исследователей из NVidia по генерации реалистичных фотографий (https://www.youtube.com/watch?v=XOxxPcy5Gr4). Если нет, то обязательно посмотрите видео. Еще вы, наверняка, видели видео с генерацией реалистичных движений лица на базе мимики актера и наложенного образа (https://www.youtube.com/watch?v=AmUC4m6w1wo). И я уже не говорю весь спектр технологий от наложения масок в мессенджерах до технологий захвата лица, применяемых в киноиндустрии.

Вот теперь прогноз, который мы сделали год назад на сессии обсуждения концепции Медианет (АСИ):
1) Будет технология, позволяющая известным актерам буквально "торговать" лицом (или образом), накладывая его на мимику других актеров (живых или смоделированных). Причем это будет включать не только визуальное изображение, но и голос с интонациями и т.п. Условно "вечно живущий" образ Мерлин Монро. Условно, можно взять реальное изображение исторического лица и наложить его на актеров (без необходимости фактического грима). Постепенно это выйдет за рамки лица на все тело.
2) Будут новые полностью сгенерированные реалистичные персонажи/образы/актеры, за которыми будет стоять группа "моделистов". (Как это уже происходит в компьютерных играх).

Из свежего: обсуждали с коллегами сценарии телемедицины или оказания дистанционных услуг с участием видео изображения. Неожиданно, но там тоже появляется запрос на ту же самую технологию для повышения уровня доверия. Условно, вы всегда видите одного и того же доктора, независимо от того, кто находится по ту сторону экрана и с какой дикцией говорит.

Фокус в том, что все это — одна и та же технология, которая сегодня собирается из вот таких фрагментарных кусочков паззла. #media #ai #future

VC и Андрей Себрант (@techsparks) вчера под вечер уже написали про историю стартапа DopplerLabs, который объявил о своем закрытии. Вкратце — они были одними из пионеров "по-настоящему" беспроводных наушников с активным шумопдавлением и т.п. Причем начинали с физических акустических фильтров для ушей и их последний продукт - HereOne по функциональности действительно был одним из лидеров рынка. Но не сложилось... как только выяснилось, что ниша знаковая и в нее ломанулись все большие игроки. Лично я думал купить себе такие наушники в середине сентября, но удержался из-за цены и желания подождать, как после CES на эту нишу отреагируют большие игроки (об этом я уже писал).

Добавлю еще несколько деталей в эту историю, делающие ее еще более грустной... Первое, что бросается в глаза, это что миссия команды была не в том, чтобы занять именно лидерские позиции в сегменте (хотя, наверняка, хотелось). Они хотели сделать звук максимально персонализированным и даже приводили аналогию с линзами для глаз, которые подбираются всегда под личные особенности зрения. Вот также и со звуком. Причем явный акцент и в миссии, и в софте с железом делался на людей с ограниченными возможностями. И новый невыпущенный продукт только усиливал этот акцент. Найдите в описании флагманских наушников от Apple, Google или, скажем, Sony упоминание темы accessibility. (Подсказка: его там нет.) И вот этот "гуманный" аспект он просто проходит красной нитью через все статьи, посвященные закрытию проекта. Очень-очень жаль, что так все обернулось.

Второе, как это часто бывает (особенно) с железячными стартапами, нужен опыт в производстве электроники — от подбора комплектующих и надежности (и предсказуемости) поставщиков и сборки до четко выверенных консьюмерских параметров. И это то, где "гиганты", как только они почувствуют в нише деньги, всегда будут "бить" маленьких игроков. Что пошло не так? “We fucking started a hardware business!” Не кстати, если можно так сказать, оказалось и то, что long-term ценность этого сегмента не в самих устройствах, а сервисах вокруг них. Создатели думали, что дальше они будут постепенно добавлять интеллектуальные сервисы вроде голосового перевода, а оказалось, что для гигантов вроде Google намного легче сделать железо к уже существующим сервисам, чем для Doppler Lab сделать свои сервисы к уже созданному железу. Поучительно, конечно.

https://www.wired.com/story/inside-the-downfall-of-doppler-labs/
#ar #augmented #sound #acoustic #filters

К практике! Коллеги опубликовали отличное end-to-end описание создания AI-решения для распознавания птиц на видео: начиная с разметки данных (кстати, очень рекомендую VOTT, на который они ссылаются), продолжая тренировкой модели (CNTK, TensorFlow) и заказчивая упаковкой модели в готовый веб-сервис. https://www.microsoft.com/developerblog/2017/10/24/bird-detection-with-azure-ml-workbench/ #AI #ML #Azure #CNTK #TensorFlow

Как построить AI-решение