«Девайсами можно будет управлять с помощью жестов». AR-стартап Banuba — о новых разработках и кейсах с геймдевом и хирургами-косметологами

Белорусский AR-стартап Banuba открыл сторонним разработчикам доступ к Face AR SDК — платформе для внедрения AR-технологий в приложения. Платформой уже воспользовался Яндекс: в его модном приложении Sloy появились виртуальные аксессуары, маски, а также видеоредактор от Banuba.

В ближайшее время белорусский стартап запустит плагин на Unity, чтобы разработчики использовали Face AR технологии для создания 3D-контента в своих продуктах. Поговорили с командой Banuba о новой бизнес-модели, оптимизации кода и фичах Face AR SDК. 

«Стали лучше понимать потребности рынка»

Вадим Нехай, Head of B2B Banuba:

— С этого года мы решили вывести технологии на новый уровень и изменить бизнес-модель: помимо b2c стали развивать b2b-направление. И поэтому открыли сторонним разработчикам доступ к своей платформе. 

Мы получили независимую оценку качества технологий. Также проверили первоначальный спрос на подобные технологии и стали лучше понимать потребности разных сегментов рынка. 

Появились интересные кейсы — например, в пластической и косметической хирургии. На этот рынок мы даже не ориентировались, но оказалось, что здесь есть спрос. Врачи и пациенты могут использовать технологию трекинга лиц, чтобы, например, заранее увидеть результат операций по увеличению губ, подтяжки лица и исправлению формы носа, что значительно увеличит эффективность консультаций. Похожих решений сегодня мало и работают они в основном по фото. 

Изначально у Banuba был фактически один заказчик — собственная продуктовая команда, которая разрабатывает приложения компании. Сейчас —  десятки заключенных контрактов со сторонними компаниями.

Так, летом белорусский стартап объявил о партнерстве с Яндекс. Российская компания использует технологию трекинга лиц от Banuba в своем AR-приложении по распознаванию одежды Sloy. В компании рассчитывают, что проект перерастёт в большую социальную сеть с видеоконтентом и потеснит в России TikTok.

Появились в клиентском портфеле Banuba и геймдев-студии. Одна из них — исландский разработчик мобильных игр TeaTime Games. Для разработчика приложений из Филлипин NSTBG белорусская команда создает необычные маски, «которые нашим дизайнерам вряд ли пришли бы в голову».

Американское рекламное и маркетинговое агентство Blue Pixel Creates использует технологию Banuba в спортивном маркетинге: в специальных автобусах с телевизорами и камерами болельщики могут примерять на себя форму и другие атрибуты любимых команд.

На финальной стадии переговоры Banuba с ещё одной американской компанией, связанной со спортом, об использовании Face AR SDК технологии на Windows — на болельщиков будут накладываться маски во время трансляции спортивных соревнований.

«В перспективе собираемся предоставлять технологии по модели самообслуживания»

С разработчиками Banuba взаимодействует по простой схеме: компании оставляют заявку на сайте и подписывают соглашение о доступе к пробной версии SDK на 30 дней. Команда стартапа помогает разработчикам протестировать SDK и интегрироваться в продукт. 

— В этом году мы улучшили SDK как b2b-продукт и упростили его использование для разработчиков. Например, запустили сайт с документацией, который позволит разобраться с SDK самостоятельно. К фичам добавили режим редактирования фотографий (теперь пользователи могут накладывать на фото из ленты разные эффекты), опцию перекраски волос и глаз, разные инструменты омоложения лица. Также улучшили плеер нейросетей для Android.

Чтобы пользоваться технологиями Banuba, разработчики покупают лицензии — квартальные либо годовые. Стоимость одной — от 10 до 100 тысяч долларов в год в зависимости от условий лицензирования и технической поддержки заказчика.

— В перспективе собираемся предоставлять технологии по модели самообслуживания. Это значительно проще и удобнее для всех. Клиенты будут заходить на сайт, выбирать нужные технологии и оплачивать пакет дистанционно. Ценник будет ниже, чем сейчас. Пока технологии рассчитаны на компании среднего и крупного бизнеса, но в будущем они станут доступны индивидуальным разработчикам.

Для ускорения выхода на рынок с готовым продуктом разработчикам доступен постоянно пополняющийся каталог фильтров Banuba (сейчас их больше 500):

— Не у всех компаний есть в штате 3D-дизайнеры. Да и создание хорошего эффекта — не такая простая задача, как может показаться. Но поскольку мы создали много эффектов для наших приложений, то решили попробовать их лицензировать. Оказалось, это интересно разработчикам, у которых нет соответствующей экспертизы, но есть потребность быстрее выйти на рынок с уже готовым контентом.

По словам Вадима Нехая, себестоимость одного эффекта у дизайнеров в России, которые создают фильтры для Snapchat и Instagram, составляет около 400-500 долларов. У Banuba цена выше — 800 долларов. И это оправдано. 

— В зависимости от опыта и сложности эффекта на разработку (от концепта и до реализации) у опытного дизайнера уходит 1-2 дня. К тому же в наших эффектах часто используются оригинальные звуковые подложки, написанные нашим sound-дизайнером.

Эффекты команда тестирует на аудитории:

— Любопытная история однажды произошла с нашим фирменным пауком. Оказалось, что он вызывает у людей разные эмоции. Когда начали крутить рекламу с этим эффектом, некоторые пользователи стали жаловаться на арахнофобию. В итоге Facebook удалил наш аккаунт. Это было для нас неожиданно, но это тоже опыт.

«Если компания не хочет патентовать, это сделают другие»

Свои разработки Banuba патентует (на данный момент патентов уже 36). 

— Патенты защищают первичные решения. Это отличная валюта, которая всегда торгуется. А если компания не хочет патентовать, это сделают другие. И может так получиться, что компании предложат выкупить патент или заключить лицензионный договор на использование её же интеллектуальных разработок, — отмечает Вадим Нехай.

— Но оформление патента — сложный юридический процесс, — добавляет PM SDK Дмитрий Ушацкий. — Чтобы оформить заявку в патентном ведомстве США, надо нанять специального патентного адвоката, услуги которых стоят очень дорого. С учётом всех затрат на подготовку один патент обходится примерно в 20 тысяч долларов.

«Поддержка Unity — один их самых популярных запросов»

Banuba Face AR SDK поддерживает три десктопные платформы (Mac OS, Windows, Linux), две мобильные (iOS и Android), а также Web (HTML 5).

— Мы сами создаём все технологии — от сбора датасета до графического движка, включая инфраструктуру активного обучения. Поэтому у нас есть возможность создать версию трекинга лица под разные камеры и hardware, — поясняет Вадим Нехай.

Технологии работают на широком диапазоне устройств Android и iOS и поддерживаются низкопроизводительными недорогими смартфонами.

— Для крупных компаний, запускающих продукт в масс-маркет, важно, чтобы технологии работали на бюджетных устройствах, — отмечает Team Lead Алексей Черкес. — Например, в России, по некоторым данным, одна из самых популярных моделей iPhone — 5S. Основные наши технологии — face-tracking и beautification могут работать на таких моделях с частотой 30 кадров в секунду и не слишком сильно нагревать девайс. Этого мы достигли в результате многократных оптимизаций кода.

— Движок 3D пишется на С++ и компилируется на все платформы. Но другие языки мы тоже используем, — добавляет Senior Developer Игорь Тумашик. — Например, сейчас в SDK встраивается прототип технологии по использованию в пластической хирургии, его код написан на Python. Чтобы встроить прототип, надо переписать код с Python на С++. Но переписывание предполагает качественную переработку.

Треть запросов компаний касаются использования технологии Banuba в браузерах.

— Это одно из важных для нас направлений, — отмечает Дмитрий Ушацкий. — Пользователям не надо настраивать отдельное приложение. С любым устройством при наличии интернета можно заходить на сайты компаний, которые подгружают плагин с SDK. Там запускается камера, движок, который распознает лицо, и пользователь может примерять, допустим, очки. В перспективе функциональные возможности SDK будут доступны на всех платформах.

В ближайшее время Banuba запустит плагин на Unity.

— Поддержка Unity — также один их самых популярных запросов со стороны клиентов, — добавляет Вадим Нехай. — У этого кросс-платформенного фреймворка одно из самых больших комьюнити разработчиков в мире, а также богатый функционал по созданию 3D-контента — многие используют его для создания AR-приложений. Какое-то время мы работали над портированием эффектов и других возможностей на Unity. В ближайшее время планируем запустить плагин.

«Можно прийти в магазин и на iPad быстро „перепробовать“ весь каталог» 

Banuba продолжает развивать свои технологии в двух направлениях — AR- communication и AR-commerce.

— Видео становится самым предпочтительным способом коммуникации. Поэтому сегодня так популярны TikTok и Snapchat. Но везде, где общение идёт посредством камеры, возникает потребность в обработке изображения. Это могут быть фильтры или маски, которые имеют высокую утилитарность, улучшают внешний вид, чтобы нивелировать недостатки камеры, — объясняет Вадим Нехай.

— Мне попалось исследование о том, как подростки используют сегодня видеочаты. Они, например, не принимают видеозвонки. Во-первых, из-за того, как могут выглядеть на экране: камеры далеко не всегда могут адекватно передать внешность, и многие из-за этого чувствуют себя некомфортно. Наша технология позволяет улучшить опыт видеозвонка.

Вторая причина — бэкграунд, то есть фон. Это может быть и бардак в доме, и проходящие люди на заднем фоне. Технология сегментации и портретный режим позволяют всё это скрыть и фокусироваться только на собеседнике.

— Изменение фона — одна из основных потребностей сегодняшних блогеров, — соглашается Дмитрий Ушацкий. — Однажды я сам с этим столкнулся. Какое-то время я жил в Германии и как-то оформлял кредит по интернету. Мне надо было показать сотруднику банка свой паспорт с разных сторон. И во время видеосеанса было немного стыдно за разбросанные в комнате детские игрушки. Плюс это нарушало приватность моей семьи. Я предпочел бы размыть задний фон, чтобы сотрудник банка видел только мое лицо и паспорт.

— Дополненная реальность меняет и процесс покупки товаров, — добавляет Вадим Нехай. — Можно создать множество виртуальных примерочных для очков, помады, ювелирки, украшений, татуировок. Алгоритмы позволяют определять размер лица, расстояние между глаз и давать рекомендации по выбору. Во время примерки возникает ощущение владения продуктом и появляется желание его купить. Это увеличивает конверсию.

L’Oreal на Amazon с помощью технологии канадской ИТ-компании ModiFace запустил примерку помады через телефон. Если они решили использовать такую технологию, значит, поверили в неё. Всё — поезд тронулся и поехал. Во-первых, это экономия на тестерах в магазинах, во-вторых, это более гигиенично, чем наносить помаду на руки, в-третьих — рост конверсии. Можно прийти в магазин и на iPad быстро «перепробовать» весь каталог. Причем, технология позволяет реалистично передавать тон и цвет помады.

Бизнес хочет внедрять виртуальную примерку. Среди наших заказчиков появился всемирно известный бренд Gucci — он использует нашу технологию для примерки косметики и аксессуаров.

Ещё пример — продажа средств по уходу за кожей с использованием AR-технологий. У нас такого кейса пока нет, но L’Oreal уже внедрил искусственный интеллект, который позволяет анализировать кожу и давать рекомендации по выбору косметики.

«Можно создать совершенно новый пласт игр»

Зато у команды Banuba много идей других кейсов, в частности, касающихся Hand AR и Body AR. 

— Уже есть экспериментальные технологии, которые позволяют сегментировать руку в реальном времени. Их можно протестировать в нашем демо-приложении в AppStore и Google Play. Сейчас работаем над добавлением скелета руки и анимации, чтобы рука могла управлять 3D-моделями, — делится планами Вадим Нехай.

— С помощью этой технологии можно создать совершенно новый пласт игр, основанный на распознавании жестов и положения пальцев рук, — отмечает Дмитрий Ушацкий.

 — Также с помощью жестов можно будет управлять устройствами. Например, дать команду телефону сделать селфи. У нас уже есть заказчик, который заинтересован как раз в использовании технологии распознавания жестов для дистанционного управления мобильными устройствами. Когда качество технологии улучшится, а цена снизится, технология получит более широкое распространение.

Место солидарности беларусского ИТ-комьюнити

Далучайся!