«Кроссовок нужно растянуть так, чтобы он закрыл подошву берца или каблук». В чем разница между примеркой обуви и трекингом лица? Разбираемся с экспертом

Белорусские разработчики AR-фильтров поставили громкие сделки в индустрии на поток: MSQRD купила Facebook, Aimatter — Google, Banuba привлекла 12 млн долларов от Виктора Прокопени и Михаила Гуцериева, в её команде уже 100+ сотрудников.

К успеху, очевидно, идёт и Wannaby: в апреле она обновила своё AR-приложение для примерки обуви.

«В новой версии Wanna Kicks команде удалось победить дрожание. Теперь выглядит суперреалистично», — написал в Фейсбуке ИТ-предприниматель, инвестор проекта Юрий Мельничек. 

Как сообщили dev.by в Wannaby, «в обновлённой версии мы показали, насколько лучше теперь работает посадка кроссовок». На победу над дрожанием, если считать точкой отсчёта появление приложения в сторах, ушло почти три месяца.

Почему алгоритмы виртуальной примерки одежды эволюционируют медленней, чем алгоритмы «примерки» лиц и волос, которые ИТ-гиганты «расхватали» в марте 2016-го и августе 2017-го? (Спрос, тем не менее, не спадает: в декабре 2018 года Snapchat купил приложение 20-летнего украинца, которое меняет цвет волос и фон, — ничего не напоминает)? В чём принципиальная разница? Пора ли очередному ИТ-гиганту начинать откладывать деньги на виртуальную примерочную made in Belarus?

Объясняет Вячеслав Архипов, разработчик трекинга в компании Banuba:

— Приложений для трекинга лиц на данный момент больше, и сфера применения шире. Пусть всё началось с игрушек, но сама технология развивалась за счёт массовости, за счёт того, что много кто этим занимался. И каждая команда вносила свой вклад в развитие технологии, поэтому она ушла вперёд. Технология примерки одежды, обуви появилась относительно недавно и ещё не так сильно развилась.

Надо отличать трекинг от дополненной реальности. Трекинг — это часть дополненной реальности, его суть — определить, где находится объект, как расположен, какими свойствами обладает. AR — это внесение дополнительных виртуальных объектов, которых нет в реальности. Плюс добавляется элемент дизайна, то есть как это всё нарисовать. Качественный трекинг можно испортить некачественной анимацией или, наоборот, какие-то ошибки трекинга скрыть правильным артом.

Классический трекинг в случае с примеркой обуви — определить, где расположена нога, под каким углом, и отслеживать, как она перемещается. Но для качественной прорисовки обуви поверх ноги этого может быть недостаточно по ряду причин. Например, человек изначально может сидеть в разной обуви, в берцах или тапочках, может сидеть босиком. Алгоритм трекинга точно задетектирует, где расположена нога. Но, чтобы сверху нарисовать, например, кроссовок, дизайнеру надо подумать не только о его расположении, но и о том, как его растянуть, чтобы он закрыл подошву берца или каблук.

С лицами в этом плане проще. На лицах обычно не бывает ничего лишнего, или, по крайней мере, меньше разнообразия. Это могут  быть, например, очки, кепка, борода, наушники.

Что касается эффекта дрожания в случае с примеркой одежды или обуви, то он изначально будет возникать всегда. Все алгоритмы искусственного интеллекта учатся на примерах. Вот такая ситуация, в ней правильный ответ такой-то, такая ситуация — в ней правильный ответ такой. И таких примеров, на которых обучается искусственный интеллект, несколько тысяч или десятков тысяч. Но в этих данных, как правило, содержатся противоречия. Не может быть идеально подготовленных данных, плюс возникают ошибки самого алгоритма, округления, вычисления. Все факторы приводят к тому, что получается дрожание.

Фильтрация этого шума — классическая задача в физике обработки сигналов. Действенный способ — фильтровать усреднением по времени. Но в этом случае мы получаем задержку, лаг. Чтобы не было и дрожания, и задержки по времени, — это уже переход к качественно другим алгоритмам, а не просто усовершенствование действующих.