Итак, в минский офис Softeq Development приехали HoloLens. Мы если не первые в Беларуси, то, однозначно, — в числе первых обладателей новых очков дополненной (или смешанной, по версии разработчиков гарнитуры) реальности от Microsoft. Так ли это круто и зачем нам HoloLens? Этими и другими вопросами мы озадачили ребят из команды, которые точно в этом смыслят: технического руководителя игрового и мобильного отделов Артёма Воробьёва и ведущего программиста игрового отдела (zGames) Ивана Березовского.

Читать далее

О плюсах и минусах HoloLens: первое впечатление

— Официальные продажи этих очков ещё не стартовали. Как удалось заполучить HoloLens?

Иван: Продажа первых комплектов HoloLens, предназначенных для разработчиков, действительно ограничена, — не каждый запрос находит отклик в Microsoft. Нашу заявку удовлетворили, и причин на то может быть несколько. Во-первых, Softeq давно и тесно сотрудничает с Microsoft — в прошлом году нам присвоили квалификацию золотого партнёра.

Вдобавок, рассматривая заявки, создатели гарнитуры обращают внимание на области компетенции компании-претендента: а достаточно ли у этих ребят экспертизы, чтобы разработать какой-то нетривиальный продукт в нише дополненной реальности? Очевидно, в Microsoft решили, что мы сумеем найти этой гарнитуре достойное применение. И не зря, потому что у нас как раз назревает несколько проектов под HoloLens.

— Как HoloLens работают и насколько они удобны в использовании?

Иван: Как только пользователь включает HoloLens, очки начинают строить виртуальные модели объектов окружающей обстановки, — распознавать форму стола, стен и остального окружения. Это нужно самому девайсу для правильного размещения голограмм в пространстве.

Дополненная реальность в HoloLens с технологической точки зрения выгодно отличается от предыдущих версий тем, что раньше с помощью мобильника нужно было распознавать какой-то маркер или картинку, и уже на ней строился объект. И, если ты этот маркер потеряешь, объект тоже теряется. А с HoloLens ничего никуда не исчезнет, потому что очки каждую секунду следят за обстановкой, в пределах которой ты перемещаешься, и отстраивают её виртуально.

Артём: Главная функция гарнитуры — расширение возможностей по во восприятию окружающего мира. В плане удобства есть ряд ограничений, не без этого. Например, если делаешь жест пальцем, и камера его не захватывает, то жест не будет распознан. Хотя, в принципе, камеры на очках расположены хитро, их несколько, и сфера обзора — достаточно большая. Но поначалу придётся приноровиться, не сразу всё получается, да и технология сама по себе ещё не совершенна, будут доработки.

Помимо управления жестами, есть ещё голосовое — это уже знакомая нам Cortana из Windows 10. Я проверял на английском языке, все голосовые команды в духе delete, back или remove, точно распознаёт. Даже пытался произнести свой логин от Facebook по буквам. Вот это не очень удобно и довольно медленно, хотя всё же распознаётся. Но это, конечно, не новинка, потому что уже давно есть Siri.

Честно говоря, ввод текста в очках — процесс весьма трудоёмкий. Нужно ставить курсор на букву и каждый раз подтверждать. В наборе есть специальный кликер, который надевается на палец, и можно кнопкой совершать механические движения: навёл – кликнул. Но на клавиатуре текст набирается быстрее, это очевидно. Вообще, если нужно одно слово ввести или SMS, то голосовая команда спасает. Но вот логин или пароль — уже проблема.

Как вариант, можно подключить Bluetooth-клавиатуру, но это далеко не всегда удобно. На рабочем месте — она под рукой, а вне — не станешь ведь за пазухой таскать её. Поэтому, надеемся, что скоро на рабочем месте все инструменты «заживут» вокруг и расширят возможности ввода информации, как, например, Android-виджеты, которые позволяют кастомизировать свой рабочий стол. Только это теперь перетечёт в реальную жизнь, и появится что-то вроде «клавиатуры», чтобы всем этим управлять.

Обширный опыт — расширенная реальность. Зачем работать с AR и VR?

— Во время одной из недавних конференций представители Microsoft заявили, что в дальнейшем операционная система Windows Holographic, на которой работает HoloLens, попадёт и в другие девайсы виртуальной и дополненной реальности. У нашей команды в обоих из этих доменов имеется опыт, а теперь мы ещё и новыми очками вооружились. Насколько нам это облегчит жизнь в грядущих проектах с HoloLens?

Иван: Нам, в первую очередь, пригодится опыт работы над проектами с Epson Moverio Smart Glasses, очками дополненной реальности. Но всегда можно взять одну из наших игр в виртуальной реальности, — скажем, шутер на шлеме Oculus Rift, — и перенести на HoloLens, расширить набор фичей.

Артём: Благодаря накопленному в предыдущих AR/VR-проектах опыту, мы уже имеем представление о том, чего ожидать в SDK. И, отмечая в HoloLens новые фичи, такие как позиционирование объектов в 3D-пространстве и расширение UX-базы в целом, мы сразу понимаем, с чем конкретно стоит работать, в какой плоскости лежат перспективы для интересных проектов.

Иван: Кстати, ещё одна причина, по которой нам стоит сейчас максимально набраться опыта с HoloLens, — это грядущий выход шлема дополненной реальности Magic Leap. Это такой меганавороченный проект, спонсируемый Google, который бурно обсуждается в сообществе девелоперов, работающих над проектами с дополненной реальностью. Когда этот шлем, наконец, выйдет в свет, мы сможем применить наш опыт с HoloLens к Magic Leap.

Кроме того, на рынок выходит Project Tango, — уже летом появится первый смартфон, поддерживающий эту технологию. Project Tango — это hard & soft-платформа, разработанная Google. Она позволяет достаточно точно позиционировать мобильные устройства в пространстве. Вместо GPS и прочих сигнальных систем Project Tango использует так называемое компьютерное зрение. Это работает по тому же принципу, что и HoloLens: встроенные камеры постоянно распознают окружающую обстановку, форму объектов, размеры комнаты. В очках этот процесс можно заметить по тому, как светящаяся сетка бежит по стенам, полу, потолку (увидеть, как это работает, можно в видеоролике, размещённом в конце статьи).

Артём: Что нам ещё поможет поначалу, так это опыт разработки игр с Leap Motion контроллером. Это технология захвата движения в 3D. Мы с ней плотно работали, и научились правильно использовать жесты: поняли, какие нельзя применять, какие плохо распознаются, написали несколько собственных распознавателей жестов.

К слову, хоть управление игрой жестами и смотрится эффектно, на деле это не слишком-то удобно, потому что руки реально устают. Стандартная схема, когда ты в игре просто мышкой кликаешь, а персонаж бегает и стреляет, не так утомительна — можно несколько часов выдержать. А когда, скажем, в игре про Гарри Поттера рукой машешь, чтобы подействовало заклинание, то уже за 15 минут притомишься. В общем, эти нюансы ещё нужно будет сглаживать.

И в тренд попадут те, кто найдёт хорошее применение технологии и сделает продукт с качественным UX, не напрягающим людей. Так что нас ждёт масса экспериметов.

— В Microsoft утверждают, что Windows Holographic уже позволяет тысячам универсальных приложений (Universal Windows App) запускаться на HoloLens, так что проблем с экосистемой, как в случае Windows Phone, не будет.

Артём: Мы пока не проверяли все возможности Windows Holographic. Возможно, поначалу придётся столкнуться с проблемами. Но Microsoft однозначно будет делать всё, чтобы со временем все приложения Windows Store заработали и на очках.

— ...А ещё, по словам разработчиков, гарнитура будет совместима едва ли не со всеми Windows-устройствами и платформами, тем самым выходя далеко за рамки гейминг-домена. Складывается впечатление, будто HoloLens планирует спасать или завоёвывать мир. Очки так везде необходимы и применимы?

Артём: Здесь вопрос вот в чём: зачем пользоваться приложениями с мобильного в очках, если удобнее это делать в телефоне? Если хочешь зайти в игру секунд на тридцать и «протапать» что-то, то нужды загружать её с HoloLens нет. Очки не заменят всё.

Фишка «Работает на всех девайсах» будет удобна в ситуациях, когда, например, ты уже в очках, а нужно забронировать переговорку. Можно просто повесить себе на стену голографический календарь, и не надо открывать приложение — в буквальном смысле из воздуха бронируешь то, что нужно. Но далеко не все UX перенесутся в очки, не все приложения укладываются в сессию пользования очками и могут работать в экосистеме. Мы это уже проходили, когда появлялись разные мобильные устройства, и казалось, что вот-вот всё утечёт в mobile. Не всё утекло.

Иван: Да и вряд ли в ближайшее время массово и подолгу все станут носить эти очки. Это, как минимум, выглядит для окружающих странно. Кроме того, HoloLens ещё далеки от идеала по весу, объему, чёткости изображения.

Кстати, самое большое лукавство Microsoft — это когда на презентациях надевают на человека очки, и камера якобы демонстрирует всё, что он видит. Так вот, на самом деле, — это у камеры дополненная реальность отрисовывается вся, что, само собой, производит wow-эффект. А человеку в очках виден из всего этого только небольшой прямоугольничек.

В Microsoft это объясняют особенностями периферического зрения. Голограммы HoloLens хоть и поддерживают своё положение в реальном мире, всё-таки немного дрожат. Так вот, скорость восприятия боковым зрением — быстрее, и человека начинает мутить, если голограмма сбоку мелькает.

Но, думается, тут проблема не только в этом. Стекло, из которого изготовлены очки — довольно толстое, и сделать его сферическим, чтобы оно покрывало нужный объём и давало полную картинку, — задача непростая. В любом случае, та гарнитура, которую мы сейчас получили, — это все ещё developer kit, далёкий от идеала.

«В восхитительных очках»: почему HoloLens не просто игрушка

— Можете рассказать о намеченных проектах с HoloLens, что-то в рамках NDA?

Артём: Разве что в двух словах. Несмотря на то, что мы получили сет буквально пару недель назад, заказчики появились ещё задолго до этого. Один из клиентов предложил сразу несколько идей и просил оценить, насколько они реализуемы. Так что уже в ближайшее время могут стартовать два проекта на HoloLens: разработка решения для дизайна интерьеров и обучающая программа.

— Кстати, о возможностях этих очков. Те самые тиражи в 80 млн устройств в год, которые планируют нарастить к 2020 году — кому и для чего эти первые HoloLens могут пригодиться?

Иван: Первый тираж распродают, как мы уже говорили, не массовому потребителю.

Вот сейчас на МКС улетело несколько таких гарнитур, — с их помощью будут проводить технический инструктаж космонавтов и, посредством элементов дополненной реальности, демонстрировать с земли процесс работы различных узлов. Круто же!

Для промышленных предприятий, кстати, такой способ применения был бы очень уместным. Можно, скажем, показывать, как эксплуатировать или ремонтировать оборудование, и так далее.

Артём: На самом деле, то, что HoloLens строит 3D-модель окружающего мира, — очень крутая функция. Этим можно вооружиться для массы интереснейших проектов, и, в первую очередь, 3D-дизайн — благодатная почва в этом отношении. Мы уже видели примеры использования гарнитуры для ландшафтного дизайна и дизайна одежды, управления 3D-дронами. И это далеко не всё. Можно воссоздавать модели зданий и монументов для реставрации, проектировать интерьеры — возможностей очень много.

— А для использования в терапевтических целях HoloLens сгодятся? Есть ведь примеры применения гарнитур для лечения пациентов с психологическими травмами: очки помогают найти причину расстройства, воссоздавая ситуацию, в которой имел место травмирующий опыт. Ещё встречалась идея в духе «генерить голограмму человеческого тела или органов» для студентов-медиков, чтоб не злоупотреблять, прости господи, гостеприимством моргов.

Артём: Ну, здесь нюанс в том, что тактильного ощущения ты всё же не получаешь, потому что пальцы проходят сквозь голограмму. Но, действительно, 3D — это уже лучше, чем просто на словах или на картинке в книжке.

Хорошее применение очкам дополненной реальности можно найти, например, во время терапевтических сеансов для людей с ограниченными возможностями. Вместо зеркала, которое обычно используют, чтобы человек мог представить себе, скажем, вторую ногу, — воссоздать её 3D-модель в HoloLens. И, кроме того, в точности воспроизвести какой-то орган, конечность, зуб, в конце концов, — для моделирования протеза, который потом можно распечатать на 3D-принтере.

Иван: Для лечения психологических травм, о которых ты говорила, больше подойдёт виртуальная реальность, а не дополненная. Потому что, грубо говоря, если ты хочешь перенестись в джунгли, — зачем дополнять комнату джунглями, когда можно полностью отрисовать джунгли вокруг тебя. Погружение в шлеме виртуальной реальности — гораздо сильнее.

Приведу пример. На одной из конференций нам демострировали VR-шлем. Парень, который его надел, оказался якобы на мосту над пропастью. А в реальности ему просто подставили небольшую ступеньку и просили спрыгнуть с неё. Он знает, что никакой пропасти нет, — только что сам поднялся на эту ступеньку. Но колени прямо дрожат, он не может решиться, страшно. Поэтому, что касается сеансов погружения любого рода — да, это вполне реально, но с виртуальной реальностью. Недаром мы тесно работаем с VR и аккумулируем опыт в этой области. Как бы капитански это ни звучало — это действительно проекты будущего.

Артём: Что касается дополненной реальности, эта среда изначально ближе к промышленности и бизнесу, нежели к массовому потребителю. А вот виртуальная реальность со временем всё больше распространяется в массовой среде, ведь это, по сути — весь мультимедийный контент.

— А как насчёт обычного пользователя? Что может сделать с этой гарнитурой такой вот простой смертный, который не нашёл лучшего применения для $3 тысяч и внезапно купил себе очки дополненной реальности?

Иван: Ну, этот дерзкий обладатель девайса сможет, к примеру, организовать дома комнату развлечений. В пустом помещении без телевизора, вообще без каких-либо гаджетов, можно вопроизвести любой интерфейс, — скажем, экран Skype, через который общаешься с кем-то. Или устроить игру в боулинг, или бросать мяч в стену. А ещё — держать в квартире виртуальное домашнее животное, или вовсе — дракона или робота.

Вообще, мы с ребятами из команды уже напридумывали кучу концептов игр под HoloLens. Не все, конечно, пойдут исключительно в дополненную реальность. Но вот, скажем, настольные игры. Уходя от стандартных вариантов в духе карт, можно развернуть на столе целые баталии: танки сражаются «вживую», или, как в «Звёздных войнах», — голограммы животных, монстров. Раздаёшь голосовые команды или управляешь жестами — и они идут на врага. А ещё можно расставлять башни и разного рода оборонительные сооружения в духе Tower Defence. И, конечно, массу крутых шутеров можно разработать.

Mixed Reality: кто врёт, а кто не врёт?

— Представители Microsoft в последнее время акцентируют свои намерения усиленно развивать разработки в области смешанной реальности (Mixed Reality), и HoloLens тоже относят к этому типу девайсов. Но частенько можно заметить, что очки причисляют и к дополненной реальности в чистом виде. Какова принципиальная разница?

Иван: На мой взгляд, с mixed reality разработчики, опять же, несколько лукавят. HoloLens всё же — дополненная реальность. Я бы сказал так: окунуться в mixed reality — это надеть шлем виртуальной реальности, увидеть, что всё вокруг — виртуальное, и, только подойдя к настоящей стене, уткнуться в неё физически. Причём, скажем, обычная блочная стена принимает вид каменной — всё меняет текстуру. А то, что мы видим в HoloLens — это дополненная реальность, нечто, позиционируемое или рисуемое поверх реального.

Артём: Но не стоит воспринимать это как какой-то глобальный обман или разочарование по поводу HoloLens. Очки открывают возможности, которых мы до этого не видели нигде. Например, надеваешь HoloLens, сажаешь слоника на стол и уходишь. Возвращаешься, а он сидит на том же самом месте. Чисто технологически — удивительно, как разработчики этого добились. Потому что есть микродвижения какие-то, повороты, перемещение по комнате, — всё это, по идее, должно искажать изображение. В HoloLens ты видишь, как слоник перемещается, он может, например, заговорить с тобой, и ты начнёшь воспринимать его как персонажа в игре. А можешь и вовсе перенести в офис голограмму какого-то человека, который помогает тебе с работой.

К примеру, вот сижу я, а вот рядом — репрезентация моего босса. Физически его здесь нет, но он разговаривает со мной, жестикулирует, слушает, и у меня нет никакого ощущения двойственности. Если представить, что я буду ходить в этих очках всегда, то, в некотором смысле, действительно теряется разделение между реальным и виртуальным миром. Виртуальный объект будет отличаться только тем, что моя рука проходит сквозь него.

Так что, если смотреть с точки зрения терминологической точности, HoloLens — это, пожалуй, не совсем смешанная реальность, но опыт, однозначно, отличается от виртуальной.

Иван: Ещё один новый эффект, приближающий HoloLens к mixed reality — это непрозрачность 3D-объектов. Например, ставишь рядом с реальным столом виртуальную табуретку, и она не отображается поверх стола. Можно ходить вокруг этой композиции, смотреть на неё сбоку, и реальный физический стол будет перекрывать видимость виртуального в нужных местах, и всё будет выглядеть, как настоящее. 3D-объект, таким образом, становится гораздо ближе к реальному, ведь раньше дополненная реальность воспринималась как нечто, дорисованное поверху.

Артём: Или взять, к примеру, наш давний игровой проект zGhost, — мобильное приложение, позволяющее видеть призраков в дополненной реальности. Когда требовалось что-то дорисовать, то приходилось мириться с тем, что новый объект, так или иначе, будет летать поверх уже существующей картинки.

То есть проблема следующая: что делать, если вот у меня есть препятствие, а я хочу, чтобы призрак летал за ним? Решить это, в общем случае, было невозможно, потому что девайс просто не понимал, как выглядит мир за этим препятствием. А с HoloLens таких трудностей не будет. Хотя разработчикам ещё над многими фичами придётся потрудиться: в настоящей версии не распознаются источники света и плохо накладываются тени.

Как работает HoloLens — в коротком видеоролике от Softeq: