За полтора года с момента создания Banuba разработала целый комплекс мобильных технологий Banuba SDK. Руководитель компании Вадим Нехай рассказал dev.by о некоторых секретах компании.
ПО Babuba предназначено для встраивания быстрого и корректного распознавания лиц людей, мимики, эмоций, жестов, 3D-объектов и невербальных сигналов. Технологии также могут отслеживать направления и движения взгляда и расстояние до экрана. Всё это можно использовать в мобильных приложениях самых разных направлений и функционала.
Banuba — не первая компания, работающая в сфере AR и распознавания мимики лица на базе мобильных устройств. Так, в мессенджере Snapchat есть возможность наложения эффектов не только на лица, но и на сторонние объекты. AR-фильтры и видеоэффекты применяются и в мобильных приложениях от Facebook. Технологии Banuba отличаются от Snapchat и Facebook и по многим показателям превосходят их, что подтверждают тесты.
Мы давно работаем с компьютерным зрением, включая обнаружение, отслеживание и классификацию объектов. Одна из наиболее сильных сторон компании — tracking: технологии позволяют отслеживать и идентифицировать практически любые объекты, как в фоне, так и на первом плане. В качестве примера можно привести face tracking. Snapchat использует определение 2D-точек на лице для создания фильтров, после чего выстраивает 3D-модели головы с использованием нагруженной системы нелинейных уравнений. В решении Banuba 3D-модель головы строится сразу, без промежуточного этапа. Соответственно, нам удалось избавиться от ошибок, связанных с этим преобразованием. «Это намного лучше, чем Snapchat», — самый частый комментарий, который нам приходится слышать от клиентов.
Алгоритмы Banuba SDK позволяют с очень высокой точностью измерять расстояние до различных точек сканируемой поверхности и понять её форму. Алгоритм распознаёт открытые и закрытые глаза пользователя, шесть ключевых эмоций человека (грусть, злость, радость, удивление и т. п.). Сделать это удалось благодаря продолжительному обучению ИИ на разнообразных моделях. Сейчас идёт работа над распознаванием микровыражений.
Мы планируем добавить и такие функции, как распознавание жестов рук и тела человека, различных предметов, домашних животных. Среди долгосрочных планов — семантическое распознавание самых разных сцен, включая беседу, прогулку и прочие «социальные явления».
В качестве ещё одного примера реализации технологий можно привести точное определение наклона и движения головы человека вплоть до 90 градусов. Технология создает 3D-модели, которые в точности повторяют движения пользователей и объектов, попадающих в объектив камеры. Здесь важную роль играет балансировка наборов данных, чего было весьма непросто добиться.
Недавно мы разработали мобильную технологию отслеживания взгляда человека и даже подали заявку на регистрацию патента (к слову, Banuba имеет около 20 патентных заявок в различных странах). Технология позволяет не просто «смотреть», куда направлен взгляд человека, но и позволять пользователю управлять функциями телефона при помощи взгляда. Для этого используется специальный алгоритм распознавания микродвижений зрачков в режиме реального времени. Он очень точно отмечает определённые точки глаз человека, затем используется анализ множества показателей для построения вектора направления взгляда.
Что касается iOS 11 и нашумевшего ARKit, стоит отметить, что Apple прекрасно реализовала работу с тыловой камерой. Но при этом фронтальной камере уделено не так много внимания, как хотелось бы. Разработчики Banuba стараются исправить этот дисбаланс и активно работают над максимизацией возможностей обеих камер.
В планах компании создание большого количества разных AR-приложений и разработка собственной блокчейн-системы верификации пользователей Banuba login.
90 процентов телефонов имеют слабую конфигурацию, несмотря на развитие эпохи новых технологий. Из-за этого далеко не все устройства способны полноценно работать с AR и VR. Все наши технологии предназначены для работы на Android и iOS, поэтому одной из ключевых задач компании является оптимизация алгоритмов для использования на мобильных устройствах с более слабой производительностью.
AR — это соревнование самых сильных разработчиков.
Читайте также: «Хотим создать большую AR-экосистему». Banuba и Inventain запускают продуктовую компанию
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.