Белорусский стартап Teslasuit создаёт нативный пользовательский интерфейс — контроллер в виде костюма для взаимодействия с виртуальной реальностью. В 2016-ом проект номинировали на звание прорывного продукта года на Product Hunt, а на прошлой неделе он побывал на международной выставке CES-2018 в Лас-Вегасе. dev.by пообщался с руководителем проекта и узнал, в чём инновационность проекта и как проходит его интеграция с белорусской VR-игрой Drunk or Dead.

Читать далее...

От 5D-аттракционов к VR-костюму

Около 6 лет назад изобретатель и автор проекта Teslasuit Сергей Хурс вместе с Романом Алексадровичем работали  в Минске над созданием 5D-аттракционов. Наблюдая за тем, как достигается реализм в кино, они пришли к выводу, что такое погружение в VR недостаточно реалистично.

Тогда они начали думать, как улучшить восприятие VR в реальной жизни и, по сути, сделали прототип очков виртуальной реальности ещё в 2012 году. В это время уже начинал набирать обороты Oculus Rift, поэтому разработку очков решили оставить, сконцентрировавшись на том, чего ещё никто не делал.

— На создание первого прототипа костюма для VR ушло 3 года. На третий год его показали мне, — вспоминает представитель компании Дмитрий Михальчук. — Это был совсем не тот костюм, который есть сейчас, но уже тогда я понимал, что за ним — будущее. Я  жил в Лондоне, но ради работы над таким продуктом согласился переехать в Минск.

Здесь команда развивает научную базу и строит R&D. В лаборатории химики и специалисты по материаловедению изучают гибкие тянущиеся проводники, химический состав материалов, а художники и инженеры создают систему захвата движения, придумывают решения интерфейсов для AR и VR.

Всего в команде около 50 человек, и её планируют укрепить ещё как минимум 18-тью.

Нейростимуляция, гибкая электроника и нативная библиотека

— Изначально мы хотели делать модульное устройство, чтобы костюм можно было разобрать и постирать. Проработали несколько вариантов и поняли, что разбирать модули — это долго. Человек по природе своей ленив и вряд ли будет это делать. Поэтому в итоге разработали умный материал со встроенной электроникой, который можно стирать.

По словам Дмитрия, найти нужный материал для пошива VR-костюма было непросто. «Когда мы говорили, что нам нужна ткань как у Adidas, на нас смотрели большими глазами», — объясняет он. В итоге основную часть костюма шили в своей лаборатории из неопреновой ткани, в составе которой есть резина, обеспечивающая диэлектрические свойства.

Костюм — это, по сути, нейростимуляция нервных окончаний, которые передают в мозг ощущение того, что происходит. Разработчикам костюма необходимо знать, как нейростимуляция влияет на кожу и подсознание, как сделать её влияние универсальным.

— У нас, наверное, и нет прямых конкурентов, потому что в одном костюме решается сразу большое количество разносторонних задач, — поясняет Дмитрий. — Есть проекты, которые занимаются какой-то одной маленькой проблемой, и мы, можно сказать, конкурируем сразу со многими.

Руководитель Teslasuit утверждает, что основное ноу-хау продукта — в гибкой электронике, которая, как и материал, плотно прилегает к телу. В костюм встроены электронные платы собственного изготовления, процессор, оперативная память. Есть бортовой компьютер и возможность по беспроводной связи подключиться к внешнему ПК для увеличения мощности.

— Учёные со всего мира бьются над тем, чтобы создать такие электронные платы, а мы их уже разработали в своей лаборатории. Также у нас есть собственные математические алгоритмы для системы захвата движения, которые позволяют делать наиболее точный расчёт.

Сейчас команда работает над системой физического воздействия на мышцы, чтобы можно было симулировать, например, вес стакана. Также разрабатывается биометрическая система для снятия кардиограммы и климат-контроль, позволяющий передавать температуру к телу.  

Программисты (С++ и С#) создали нативную библиотеку для интеграции костюма с игровыми пакетами. Сейчас в качестве разработчика-интегратора выступает белорусская геймдев-студия 4 I Lab, создавшая игру Drunk or Dead.

Интеграция костюма с белорусским зомби-шутером

Белорусская геймдев-студия 4 I Lab начала сотрудничать с Teslasuit в прошлом году после VR/AR-хакатона. Разработчики шутера Drunk or Dead победили в номинации, которая давала возможность интеграции с костюмом Teslasuit. Результат их совместной работы можно было увидеть на DevGAMM 2017 в Минске.

Для Teslasuit — это первая интеграция стороннего продукта в костюм, поэтому специалисты компании работали в плотной связке с разработчиками игры. Предоставили им встраиваемый в Unity SDK, с помощью которого разработчики тестировали анимации и экспортировали данные в движок (обработка данных была на стороне Teslasuit).   

В 4 I Lab тестировали только одну функцию костюма — систему haptic feedback, которая воздействует на нервные окончания. «С системой захвата движения тоже пробовали работать, но возникли разногласия с системой захвата самих VR-очков», — поясняет руководитель студии Михаил Юрченко.

— Это было альфа- и бета-тестирование костюма. Поэтому всё, что обычно происходит на этом этапе, было и у нас, — рассказывает разработчик Артём Качановский. — Если не удавалось запустить какую-то функцию или глючила система, то возникал вопрос: это проблема на нашей стороне или на стороне разработчика костюма? И устранять её необходимо было совместными усилиями.

Первые версии SDK были не совсем юзерфрендли, но с каждым обновлением становились лучше, говорит он. Поскольку костюм требует отдельной точки Wi-Fi, в разгар рабочего дня мог пропадать сигнал. А вот в субботу всё работало на ура, говорит программист.

У геймдев-студии было две итерации костюма Teslasuit, и разработчики заметили в них кардинальные отличия: датчики по-разному воздействовали на мышцы. Из-за этого им приходилось перенастраивать анимации.

По словам собеседников, из системы касания им удалось выжать максимум, на который она способна. «Нам удалось сделать лёгкое касание, поглаживание, удары; резкие, точечные и глобальные воздействия; передать ощущение, как на все тело, так и на последовательность мышц. Например, если виртуальный удар пришёлся на участок тела от бедра до руки», — поясняет специалист.

Но выводы делать пока рано, считает Михаил: «Мы пробовали только одну функцию костюма, но уже видим, что это очень круто. Думаю, когда нам дадут протестировать другие фичи (например, климат-контроль) или удастся спроецировать систему захвата движения, то это будет нереально здорово».

Набор Unity- и Unreal Engine-разработчика

Партнёрами белорусского проекта Teslasuit уже стали игровые движки Unity и Unreal Engine. Для обоих компания предоставила плагины, благодаря чему существующие на этих движках игры можно интегрировать с костюмом. Возможно, в будущем плагины Teslasuit войдут в набор Unity и Unreal Engine-разработчика.

— Мы пытаемся закрепиться в сфере стандартов передачи ощущений. Пишем свою библиотеку, хотим сделать её универсальной и широко применяемой, — поясняет стратегию проекта его руководитель. — Если всё пойдёт хорошо, то можно будет сделать её открытой для всех, в том числе и конкурентов.

Применение миостимуляции разработчики костюма видят не только в VR-играх, но и, например, в спорте при подготовке спортсменов к соревнованиям. Также миостимулятор можно использовать в реабилитационных целях: устройство заставляет мышцы сокращаться и таким образом тренировать их заново, восстанавливая нарушенные нейронные связи с мозгом.

Команда работает, помимо прочего, с разработчиками различных энтерпрайз-приложений по тренингу работников. «Есть сферы, где во время тестирования сотрудников проверяют уровень их концентрации, как человек справляется с заданием при большом количестве отвлекающих факторов. Мы можем настроить костюм так, что он будет подавать различные импульсы, менять климат-контроль, симулировать температурные условия», — поясняет собеседник.

Применение белорусской разработки в космосе тоже могло бы быть достаточно интересным.

— Сейчас космонавты очень много времени проводят в тренажёрном зале, чтобы поддерживать мышцы в тонусе. Наша разработка помогла бы им высвободить время на работу и исследования, за которыми они так дорого туда летят.    

Фото: Андрей Давыдчик