Новая технология использует AR-гарнитуры, чтобы упростить навигацию слабовидящим

Исследователи из Калифорнийского технологического института разработали технологию CARA (Cognitive Augmented Reality Assistant). Используя AR-гарнитуру HoloLens, она заставляет окружающие объекты «говорить», позволяя слабовидящим лучше ориентироваться.

За идентификацию объектов отвечает компьютерное зрение. Система озвучивает названия предметов, учитывая их местоположение. Благодаря этому пользователь может понимать, находится ли препятствие прямо перед ним, правее или левее. По мере приближения к объекту будет увеличиваться и громкость его обозначения.

Чтобы упростить использование CARA, её создатели разработали три режима работы. В первом система озвучивает только те объекты, которые находятся непосредственно перед пользователем. Во втором — называет всё, что находится в зоне видимости. Третий режим позволяет сконцентрироваться на конкретном объекте, который необходим пользователю.

Учёные отмечают, что разработка находится на раннем этапе. Долгосрочная цель её создателей — разработать гарнитуры под управлением CARA, которые помогут слабовидящим свободно передвигаться даже в незнакомом пространстве.