Компания Facemetrics с главным офисом в Минске в конце зимы вывела на американский рынок свой продукт для детей и родителей Nicola ReadToPlay, в основе которого лежит технология компьютерного зрения. Приложение работает даже на бюджетных мобильных устройствах и с помощью живых эмоций персонажей и искусственного интеллекта мотивирует детей регулярно читать.
Проводник в увлекательный мир чтения — оранжевый динозавр Nicola. Легенда рассказывает, что он единственный выжил на Земле, поскольку много читал в своей пещере. Среди прочего и о том, как действовать в сильно изменяющейся обстановке планеты с неустойчивым климатом.
«Мы стараемся лучше понять ребёнка, и обучаем искусственный интеллект быть ему другом, — объясняет Михаил Бойко, CEO Facemetrics. — Наш динозавр играет вместе с ребёнком, развивает его, помогает выполнять специальные задания. Мы задействуем естественную тягу детей к новому. Если контент или книга ребёнку интересны и он вовлечён в процесс чтения, что фиксируется технологией компьютерного зрения, то любимый персонаж ребёнка в приложении (сейчас их три на выбор — Дракон, Единорог и Монстрик) быстро растёт. Детям это нравится, они делятся своими успехами с друзьями, соревнуются. Так постепенно чтение увлекает, детей захватывают всё новые истории».
Mother of Dragons в Facemetrics — арт-лид Воля Кузьмич, кроме проектов в ИТ известная также своими победами в фестивалях рекламы и как иллюстратор детских книг. Оранжевого динозавра придумала она и теперь развивает и оживляет линию героев второго плана.
«Когда мне сказали: приходи к нам, мы делаем приложение с уникальной технологией, которое будет мотивировать детей читать больше, было трудно устоять, — рассказывает Воля. — Сказочные персонажи — это универсальный язык коммуникаций с детьми из разных культур. Такой была задумка в самом начале. Приятно, когда ожидания совпадают с фидбеком. Теперь оранжевому динозавру пишут письма поклонники из Китая и США — где купить? А продаётся пока только подписка на расширенные функции приложения Nicola ReadToPlay.
В Facemetrics мы используем технологию Lottie для анимации персонажей в приложении — это вызов для аниматора и художника, поскольку библиотека гибкая, мультиплатформенная и удобная для разработчиков, однако имеет много ограничений в эффектах, к которым так привыкаешь, рисуя рекламные ролики в After Effects».
Facemetrics была организована в начале 2018 года в Минске и сегодня разрабатывает несколько мобильных приложений. Компания тесно сотрудничает с Banuba Development, на Face AR SDK которой работает ReadToPlay, а также активно развивает собственные технологии. В совместном портфолио компаний такие вещи, как определение позы, трекинг глаз и определение эмоций человека камерой телефона.
«Самое сложное в практической реализации технологий компьютерного зрения — сделать такой алгоритм, который бы стабильно работал не только на флагманских устройствах, — рассказывает Денис Пирштук, руководитель отдела Data Science в Facemetrics, победитель международных олимпиад по математике и известный в Беларуси эксперт по big data. — Сложность задач, которые мы решаем, связана с проблемами когнитивных наук: в психологии трудно найти экспертов, которые озвучат одно и то же мнение. А наше приложение определяет, когда ребенок недостаточно сосредоточен на чтении — это сложнее, чем обучить нейросеть распознавать котика на диване».
Большое значения в проектах в области компьютерного зрения всегда уделяется приватности данных. Согласие на сбор данных должно быть подтверждено конклюдентным действием.
«В нашей области это не так просто, — объясняет Денис. — Например, в неконтролируемых условиях собрать данные о направлении взгляда нельзя. Поэтому некоторые компоненты наших алгоритмов обучаются на сгенерированных в 3D-редакторах картинках».
Именно на задаче определения взгляда человека исследователи из Apple в 2016 году продемонстрировали эффективность использования генеративно-состязательных нейронных сетей для улучшения датасета.
Отслеживание положения лица и взгляда с высокой точностью и низкой вычислительной сложностью является сложным вызовом. Алгоритм ReadToPlay достаточно устойчив и при работе с потоком в 10 кадров — это сберегает заряд и предотвращает нагрев устройства.
«Попытки жёстко ограничить экранное время ребёнка очень неэффективны. Чем больше что-то детям запрещаешь, тем больше им этого хочется. Поэтому мы верим в новые технологии, контент и UX, принципиально меняющие способы и цели взаимодействия „ребенок-компьютер“. Надеемся, что наши алгоритмы и продукты позволят сделать использование детьми абсолютно любых электронных устройств безопаснее и полезнее», — рассуждает Денис Пирштук.
Самыми первыми тестировщиками Nicola ReadToPlay были дети сотрудников компании. Каждый день наблюдая за их взаимодействием с большим количеством мобильных устройств, в Facemetrics и придумали концепцию проекта Readtoplay.
«Наше решение состоит в том, чтобы предоставить родителям инструмент, который в идеале не только сам проследит за тем, чтобы ребенок соблюдал меру, но и станет помощником родителя в вопросах воспитания и образования ребёнка, — считает CTO Facemetrics Олег Орёл. — Мне повезло: я могу участвовать в разработке продукта одновременно и как заинтересованный пользователь — родитель, и как разработчик, и видеть проблему сразу с обеих сторон.
Head of UX in Facemetrics Ксения Колтун анализирует первые месяцы выхода ReadToPlay на американский рынок. Разница в менталитете с Европой, в подходах к воспитанию и образованию влияет не только на промоцию продукта, но и на логику внутри приложения.
«Мы понимаем, что представления о мотивации детей на разных континентах и в разных культурах могут отличаться не только в деталях, но и в принципиальных подходах. К счастью, у нас есть сказочные персонажи. Они делают эмоции приложения ReadToPlay одинаково понятными и в Беларуси, и в США, и в Австралии», — уверена Ксения.
Для белорусов у основного продукта Facemetrics особые условия — Nicola ReadToPlay для них бесплатен, а Windows-версия приложения имеет и белорусскоязычный вариант интерфейса.
Сегодня в Facemetrics работает около 60 человек, компания недавно расширилась на целый дополнительный этаж в бизнес-центре «Александров Пассаж» и активно ищет новых специалистов (Product Manager и Senior iOS Developer) в команду ReadToPlay и других продуктов.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.