Арт-директор Inventain Александр Данилов отслеживает развитие интереса к технологиям AR и вспоминает самые интересные проекты в своей колонке для dev.by.

Читать далее

Было

Первые шаги в этом направлении были сделаны уже давно — правда, это были скорее не самостоятельные игровые проекты, а рекламные кампании и промо-акции. Например, ещё в 2004 году, когда о дополненной реальности мало кто говорил, для продвижения второй части Halo был создан I Love Bees. Ссылку на блог любительницы пчёл показали в трейлере игры. На сайте разворачивались интересные и малопонятные поначалу события. Часть игры проходила в реальности – нужно было посетить конкретные локации, ответить на звонок находящегося там телефона, назвать кодовое слово, и на сайте появлялся соответствующий кусочек общей аудиозаписи. Позднее телеканал ABC запустил похожий проект, чтобы прорекламировать сериал Lost.

Есть

Но в распоряжении у таких проектов тогда ещё не было возможностей современных смартфонов и инструментов для работы с окружением пользователя — впервые весь мир осознал огромный потенциал мобильных платформ с выходом Ingress, а потом и Pokemon Go.

Ingress появилась в 2012 году. Она была интересна не только потому, что происходила в дополненной реальности — это была игра о социальном взаимодействии. Пользователи объединяются в команды, ищут по всему миру «экзотическую материю» (аналог маны) и захватывают виртуальные порталы, всего лишь перемещаясь по городу со смартфоном. По сути, в основу геймплея легли геолокационные данные — не больше и не меньше.

Pokemon Go в 2016 году выпустила та же компания, что и Ingress (Niantic), и суть игры схожа — на основе той же геолокации игрок ищет вокруг себя покемонов. Социальный элемент в Pokemon Go не так силён, но в ней больше внутриигровых (если можно так сказать) занятий.

Большая проблема этих игр — когда хайп проходит, они быстро надоедают. После достижения определенного уровня новых занятий в игре не появляется – впереди только левел-кап, и это только вопрос времени, когда игрок его достигнет.

Поэтому разработчики таких игр (и Niantic не исключение) ищут другие способы взаимодействия с пользователем в дополненной реальности: внедряются в массовые мероприятия и развивают социальный потенциал PokeGo и Ingress.

AR используют не только в играх: с ним экспериментируют приложения типа Snapchat и MSQRD, а Facebook и Instagram в последнее время развивают маски — фильтры для селфи на основе технологий дополненной реальности.

Будет

Над развитием AR работают многие передовые компании. В Facebook дополненную реальность планируют использовать для информирования (например, указания навигатора, «наложенные» поверх реальности), для создания цифровых объектов, которые могут заменить настоящие (стикер-напоминание на холодильник) и улучшения реальности (фильтры, редактирование, обзоры и комментарии поверх объекта). Для игр это тоже очень перспективное направление.

Но для того, чтобы AR-технологии могли полноценно войти в нашу жизнь, разработчики приложений должны решить несколько крупных и сложных проблем.

Проблема машинного зрения

Чтобы создавать технологии дополненной реальности на должном уровне, необходимо научить систему «видеть»: например, понимать, лицо ли изображено на фотографии. Мало разработать нейронную сеть — она должна обучиться, проанализировать огромные библиотеки объектов в соответствии с конкретной задачей разработчика.

Всего несколько лет назад только существование таких библиотек (с десятками тысяч изображений) было большой проблемой. Сейчас существует база с 1 млн изображений (Imagenet Large Scale Visual Recognition Challenge, или ILSVRC), на которой можно обучить написанную нейросеть. Но уже становится понятно, что скоро даже такую огромную базу данных нужно будет увеличивать. Для мобильных игр с дополненной реальностью это важная проблема — например, достаточно сложно научить систему распознавать плоскости в комнате (определять, где пол, где стены и предметы мебели).

Эта же проблема сказывается на скорости генерации виртуальных объектов. Чтобы AR казалось настоящей, предметы в ней должны вести себя так же, как в реальности. Иными словами, если вы носите шлем или очки и постоянно крутите головой, слои и объекты должны появляться и меняться быстро, без задержек и лагов.

В зависимости от проекта при разработке AR-игр нужно решать много разных задач: трекинг лица, направления взгляда, считываемость рук, отделение головы от фона, определение пола, трекинг поверхностей, маскирование объектов за препятствиями и прочее.

Для решения каждой из таких задач используется та или иная библиотека — внутренней разработки или сторонняя. «Перелопачивать» YouTube на предмет новых появляющихся технологий для решения таких проблем — довольно интересное занятие.

Особенности человеческого зрения

Так как дополненная реальность предполагает интеграцию цифровых 3D-объектов в наше непосредственное окружение, разработчикам приходится решать проблемы, напрямую связанные с тонкостями человеческого восприятия — физиологией зрения.

1. Окклюзия — один из принципов восприятия нашего мозга. Мозг постоянно сравнивает предметы, которые мы видим, пытаясь определить соотношения размеров, перспективу и т.д. Когда человек смотрит на какой-то предмет, а на его линии зрения находится второй предмет, первый предмет частично не виден. В дополненной реальности можно сделать так, чтобы цифровой объект находился за реальным объектом без наложения — но наоборот сделать намного сложнее, потому что цифровой объект, который транслируется на прозрачный экран шлема виртуальной реальности, тоже должен быть как минимум частично прозрачным. Пока эта проблема не решена, объекты в AR будут казаться недостаточно плотными.

2.  Аккомодация — способность глаза одинаково чётко различать объекты, которые находятся от нас на разном расстоянии. В дополненной реальности нас заставляют поверить, что цифровой объект может находиться на самом разном расстоянии, хотя на самом деле он транслируется на экран в нескольких сантиметрах от нашего глаза. Это большая проблема для AR — из-за аккомодации мы можем хорошо различать цифровой объект, но предметы реальности будут казаться нам размытыми и не в фокусе.

3. Вергенция — ещё одна особенность зрения, которая наблюдается одновременно с аккомодацией. Мы сводим зрительные оси глаз между собой, чтобы увидеть расположенный близко к нам предмет. Соответственно, AR-технология должна решить проблему несоответствия аккомодации и вергенции — чтобы дополненная реальность не «спорила» с действительной реальностью, нужно понять, как реализовать фокусировку взгляда на разноудалённых объектах.

Чтобы увидеть дополненную реальность, мы пользуемся телефонами, поэтому эти проблемы для разработчиков софта менее релевантны. Они станут более насущными, когда все мы будем пользоваться устройствами типа HoloLens. Так что это забота скорее касается разработчиков «железа».

Задача, над которой в данный момент работает Inventain — создание интересного экспириенса для пользователя в том числе и с помощью выразительных визуальных приёмов: смешных масок на лица, деформации тела в камере, «отрезания» силуэта от фона, добавления на поверхность порталов, в которые можно «войти», и т.п. В достижении вау-эффекта как раз и помогают новые библиотеки.

Недостаток технологий

Пока для широкой аудитории шлемы дополненной реальности ещё не выпустили. У HoloLens и Meta 2 от Microsoft появились версии для разработчиков, но запуск в массовое производство еще не анонсирован. Кроме того, технология довольно дорогая — шлемы нового поколения стоят $3 тысячи и $949, соответственно. Существующие модели слишком большие и в целом пока не готовы к выходу на массовую аудиторию.

Недостаток софта

Недостаточно запустить HoloLens в продажу. Чтобы технологию покупали и пользовались, нужно, чтобы были доступны десятки приложений и игр. Для этого нужно заниматься разработкой, поиском новых решений, созданием 3D-графики — это дорогая и сложная работа, а когда можно будет вернуть инвестиции в неё, пока неясно. Но многие визионерские компании уже начинают вести разработку под AR.

Законодательство

Так как рынок ещё недостаточно широк, существуют проблемы с уровнем развития законодательства в этой сфере. Например, AR-технология записывает и анализирует происходящее в реальном времени — значит, необходимо пересмотреть законы о приватности, собственности и свободе слова. Другая сторона медали — ещё более сложное и неизученное поле. Дополненная реальность предполагает, что какая-то информация накладывается поверх действительности. Возникают закономерные вопросы: как рассматривать ситуации, где пользователь AR-технологии нанесёт вред себе или другим, или где он может получить информацию, знать которую не имеет права (распознавание лиц и интеграция социальных сетей в AR).

Потенциал

Несмотря на всё это, у AR-технологии огромный потенциал: в медицине, управлении транспортными средствами, промышленности и так далее. В медицине технология дополненной реальности позволяет создавать образовательные тренажёры и системы для обучения будущих врачей. В промышленности бесконечны перспективы 3D-мэппинга, геолокации, проектирования и обучения. В образовании в AR можно создавать реконструкции исторических событий или визуальные модели молекулы ДНК, наполнять книги 3D-изображениями и так далее.

Судя по всему, перспективы AR-технологии обещают быть ещё более красочными (во всех смыслах этого слова), чем её настоящее.

Место солидарности беларусского ИТ-комьюнити

Далучайся!