Face AR: как обновляется SDK дополненной реальности от белорусской Banuba в 2019 году

FaceAR SDK — это инструментарий для простого создания необычных лицевых фильтров и эффектов в дополненной реальности, разработанный белорусской компанией Banuba.

Он включает несколько компонентов: Face Filters, Beautification, Avatar и Face analytics, которые можно использовать по отдельности для разработки самостоятельных AR-приложений или интегрировать в уже существующие. SDK получает регулярные обновления и даёт всё больший простор для полёта фантазии своих пользователей.

Вот как развивался Face AR в этом году.

Face AR 14.0

Большинство обновлений 14 версии Face AR SDK сосредоточены на его двух компонентах: для лицевых фильтров и бьютификации.

Face Filter SDK получил поддержку прикосновений: фильтры и эффекты стали реагировать на них, например, вибрацией или дрожанием. Это открывает дорогу для добавления различного геймплея, к примеру, ловить AR-объекты, нажав или смахнув на экране. Также улучшено качество обработки фото при наложении AR-фильтров, добавлена настройка громкости и оптимизирован рендеринг AR-эффектов с 25 до 30 fps, благодаря чему они работают более гладко на всех платформах.

В версии SDK для iOS появилась возможность сделать фильтры более иммерсивными, позволяя пользователю изменять свой голос на детский, более низкий по тональности, на голос робота или любой другой. Также iOS-разработчики AR теперь могут добавлять на видео водяные метки — логотипы или другие изображения, чтобы подчеркнуть свой бренд. Заметно ускорена скорость видеозаписи.

В инструментарий Beautification SDK добавлена технология очистки дефектов кожи лица в реальном времени. Также улучшено распознавание губ — помада ложится более точно и выглядит естественнее. Для Android добавлена превью-версия нейросети, распознающей волосы: на более мощных устройствах она позволяет мгновенно перекрашивать причёску. На iOS Beautification SDK получил возможность распознавания кожи и глаз для более точного наложения теней на веки или коррекции тона кожи в отличие от тех фильтров, которые накладывают виртуальный макияж полностью на всё лицо.

Кроме того, обновлены алгоритмы распознавания и трекинга лиц, исправлены шероховатости аудио, цветокоррекции, отображении эффектов и других, а также улучшена скорость и производительность SDK.

FaceAR 15.0: новые возможности и лучшая производительность

На платформе FaceAR появилась возможность протестировать работу фильтров на планшетах iPad в демо-приложении. В настольной версии стало можно накладывать лицевые фильтры и эффекты на заранее записанные видео, а iOS-версия платформы «похудела» на 10 процентов и стала более энергоэффективна без ущерба производительности. Кроме того, в ней улучшена съёмка в горизонтальном режиме.

В Face Filters SDK ускорена обработка AR-эффектов в процессе фотографирования, появилась поддержка распознавания экшн-юнитов и рендеринга блендшейпов, что предоставляет пользователям возможность создавать собственные анимоджи. Для Android улучшено разрешение фото с применением эффектов, а также при переключении камеры и видеозаписи.

Также взаимодействовать с фильтрами и эффектами стало можно при помощи действий, которые поддерживают нескольких одновременных касаний. Это даёт больше свободы для создания геймифицированных фильтров, так как пользователи могут касаться дисплея в двух или более точках и играть с эффектом.

В компоненте Beautifications SDK улучшено исправление недостатков лица на сделанных фото, а для iOS-версии разработчики обучили нейросеть точнее распознавать глаза.

FaceAR 16.0: «виртуальные примерочные» для губ, глаз, кожи и волос на Android

Следующий релиз платформы Face AR в основном посвящён Android. Он включил новый функционал для SDK Beautification и Face Filters, а также улучшил работу на менее мощных устройствах. Кроме того, готовы к продакшену некоторые функции в демо-версии.

В Face Beautification SDK для Android стала полностью доступна нейросеть для изменения цвета причёски в реальном времени — функцию можно реализовать как отдельно, так и в дополнение к другим фильтрам. Для продакшена готова функция наложения мейкапа на определённые области, например только помады или румян, также распознавание глаз и радужки, к которым далее можно применять небанальные разноцветные линзы.

Face Filters SDK для Android обновил технологию отделения фона — с помощью неё можно, к примеру, скрывать происходящее за спиной пользователя в видеочате. Также он стал быстрее определять лица при любой ориентации устройства, благодаря чему более плавно накладываются фильтры в реальном времени и работает виртуальная примерочная. На iOS стало можно создавать AR-фильтры с вырезанием контуров всего тела пользователя и применением эффектов фона.

Среди прочих апдейтов Android — уменьшено время загрузки при первом запуске, увеличено количество fps камеры для устройств Huawei и улучшен перенос цвета, что делает виртуальный макияж более реалистичным.

FaceAR 17.0: улучшена технология и добавлен новый функционал

В релиз FaceAR 17.0 наряду с общими улучшениями технологии вошёл ряд важных усовершенствований Face Filters SDK и Face Beautification SDK.

В Face Beautification SDK повышена точность нейросети для распознавания губ, а AR-мейкап стал доступен для сделанных ранее фото.

Face Filters SDK получил поддержку горизонтального режима фото и видео для лицевых фильтров и эффектов. На Android в 2 раза увеличено разрешение съёмки для более мощных устройств и добавлен API для проверки и производительности, а на iOS новая настройка экспозиции позволяет достичь более мягкого освещения и избежать бликов.

Общие улучшения коснулись документации, добавлена поддержка Swift 4.2 в демо-приложении, поддержка ввода RGB без конвертации.

FaceAR 18.0: очистка лица и обработка фото

В 18 релизе крупные нововведения получил Face Beautification SDK, а также добавлены новые функции постобработки фото в Face Filters SDK и несколько полезных улучшений для разработчиков.

Пользователи Face Beautification SDK на обеих мобильных платформах получили возможность загружать фото из «Галереи» и исправлять дефекты кожи лица, нажав на область, которую нужно исправить. Помимо этого, обновлена нейросеть, отвечающая за распознавание волос. Как результат, длинные волосы в AR перекрашиваются более точно.

Из нового в Face Filters SDK — обработка Bitmap и применение эффектов на Android, возможность делать фото при любой ориентации камеры без потери фокуса на лице и улучшения экшн-юнитов, что обеспечивает более точное движение губ аватаров, когда пользователь разговаривает.

В числе других общих улучшений SDK –корректно работает физика эффектов для нескольких лиц, обновления EffectPlayer, универсальный фреймворк для устройств и симулятора на iOS, а также поддержка Bitmap в конструкторе FullImageData и исправленный сбой ориентации лица при перезапуске на Android

Больше информации о платформе Face AR и примерах использования можно найти в блоге Banuba.

Место солидарности беларусского ИТ-комьюнити

Далучайся!