Новая компания сооснователя Maps.me Юрия Мельничка AIMATTER запустила в App Store приложение Fabby, позволяющее менять фон селфи с помощью нейронных сетей. В эксклюзивном интервью dev.by Мельничек рассказал о технологии проигрывания нейросетей на смартфоне, команде и планах проекта.

Читать далее...

Из карт — в нейронные сети

— В последние несколько лет я вижу, как происходит технологический прорыв в AI, связанный с нейронными сетями. И мне уже давно хотелось работать в этой области. Но пока я руководил «Картами» в Mail.Ru Group, не хотел параллельно заниматься другим проектом. Поэтому, когда я передал дела по картам – уже понимал, что хочу делать дальше. В мае я ушёл из Mail.ru, и мы начали разрабатывать технологию работы с нейронными сетями на смартфонах в режиме реального времени.

Когда вышла работа Гэтиса, Эккера и Бетге​ A Neural Algorithm of Artistic Style, стало понятно: кто первым реализует её в виде удобного мобильного приложения, которое будет быстро работать, тот соберёт аудиторию в десятки миллионов пользователей.

Вскоре вышла Prisma. Ребята молодцы: запустились очень быстро, удачно договорились по серверам. Мы решили: ok, самая очевидная идея уже реализована, переходим к следующей. Команда ведь собиралась не под конкретный проект, более того, изначальная идея до релиза несколько раз менялась. Различных мобильных историй, которые можно сделать на стыке мобильных приложений и нейронных сетей, мы видели с десяток как минимум.

Со звёздной командой и без внешних инвестиций

Всё финансирование AIMATTER — это собственные деньги четверых учредителей: меня, Юрия Гурского (совместно с фондом Haxus), а также Андрея Кулика и Матвея Ждановича, которые ушли из Google, чтобы присоединиться к нашему проекту. Инвестиции на стадии запуска составили более $500 тысяч, часть этой суммы — деньги от продажи Maps.me. Сейчас наша команда — это 15 человек в двух офисах: в Минске и в Цюрихе.

Профили специалистов самые разные: профи по нейронным сетям, по мобильным GPU, люди с глубоким знанием алгоритмов, UI-программисты. Мы понемногу расширяем команду. Иногда знакомишься с человеком и сразу понимаешь: если он присоединится, то здорово обогатит команду новым мнением. Таких людей мы зовём к себе, а так активно не нанимаем. Сейчас исключение — очень нужен программист под Android. Цели стать крупным работодателем у нас нет — куда важнее делать интересные вещи и стать большой компанией по деньгам, а не по количеству человек

Как это работает

Fabby — первое приложение AIMATTER. Его основа — наш собственный фреймворк для проигрывания нейронных сетей непосредственно на телефоне. Нейронные сети мы обучаем на серверах, а уже обученные модели проигрываем на телефоне. Одна нейронная сеть умеет отмечать и обводить на фото людей. Ещё несколько нейронных сетей тренируются под каждый доступный в приложении стиль. Чтобы гладко вписывать силуэт человека в некоторые фоны, нужно дополнительно решать дифференциальные уравнения — эти вычисления тоже происходят на самом телефоне.

Технология проигрывания нейронных сетей доступна в Fabby в двух вариантах: более медленный выполняет всю работу на CPU телефона, более быстрый — на GPU. Вариант с CPU работает с временной задержкой, зато он поддерживается старыми телефонами — приложение работает даже на iPhone 4s.

Быстрый вариант пока доступен только на топовых телефонах: он требует поддержки вычислений на GPU, которые сейчас есть только в последних iPhone и флагманских Android-девайсах. Но мы ведь строим компанию не на два месяца, а на будущее. Через два года производительность сегодняшних флагманов станет доступной повсеместно, и мы рассчитываем на это.  

Что ещё будет в Fabby: расширенное распознавание и обработка видео в real-time

Пока приложение не обрабатывает видео в реальном времени, но мы над этим работаем — это первое направление развития проекта. Мы посчитали, что отсутствие real-time — не причина откладывать релиз. Тем более, что сейчас для нас самое ценное — это фидбек от пользователей.

Я вспоминаю первую версию Maps.me — она была просто ужасной! Зато когда мы её запустили, то получили очень много полезных отзывов, и это того стоило. Мы рассчитываем, что и сейчас за счёт раннего запуска сможем собрать максимум информации: понять, где и почему наши нейронные сети не работают, узнать, как люди могут использовать технологию. За счёт этой информации мы сможем дотренировать наши модели.

Второй приоритет — расширить возможности распознавания объектов. Мы не собираемся ограничиваться вырезанием и заменой фона вокруг силуэта человека. Скоро добавим поддержку нескольких человек, людей в полный рост, кошек и собак. А в перспективе — выделение самого важного объекта на фотографии..  

Пока Fabby является игрушкой, и мы надеемся, что она понравится пользователям. Но применений для самой технологии множество. Самое очевидное — заменять фон во время видеоконференций, чтобы можно было использовать видеосвязь, например, из дома и не стеснятся, что там на заднем плане.

Что дальше: исследовательский центр и Голливуд в смартфоне

Долгосрочная цель AIMATTER — построить в Беларуси большой исследовательский центр в сфере нейронных сетей и искусственного интеллекта. Думаю, за этими сферами глобальное будущее. В Беларуси очень много крутых специалистов, умных молодых людей, которые хотят развиваться в этом направлении. Я считаю, что всё сходится — время, место, мои личные способности, наши с партнёрами стремления и желания.

Глобальные цели — хорошо, но важно, чтобы команда занималась конкретными задачами. Fabby — реализация одной из таких задач. Наша цель в направлении computer vision — понимать, что происходит на видео, и в реальном времени менять этот ролик, делать его интереснее. Глобальная задача для Fabby — дать пользователю смартфона возможности работы с видео, которые сейчас есть у Голливуда.

Параллельно с направлением computer vision мы начали разрабатывать технологию по работе нейронных сетей со звуком. Исследований в области звука на сегодня значительно меньше, нам предстоит сделать ещё очень многое. Рассказывать пока рано – исследования только в начальной стадии. Сейчас мы активно ищем Android-разработчика. Пока Fabby вышла только под iOS: запуститься там проще, поскольку платформа сильно унифицирована. С Android всё намного сложнее из-за большого разнообразия устройств, камер, чипов. Релиз мы планируем через несколько месяцев.

Будущее нейронных сетей: от анимированных селфи к освобождению рабочих мест

Под «искусственным интеллектом» люди обычно имеют в виду general intelligence — интеллект, соответствующий человеческому. До него технологиям ещё очень далеко. Нейронные сети позволяют решать задачи, которые раньше могли решать только люди, но это не самые интеллектуальные задачи. Отличить кошку от собаки на видео, распознать человеческую речь, обвести силуэт на картинке — это может сделать практически каждый.

Зато широкое внедрение этих технологий позволит автоматизировать множество рабочих мест, которые сейчас заняты людьми. Водители, грузчики, охранный персонал, следящий за картинкой с камеры видеонаблюдения, работники метро, которые следят за эскалатором и останавливают его, если кто-то упал на ленте. Во всех этих работах не нужно использовать то, что мы называем интеллектом, — нужно просто присутствие человека, его реакция.

Автоматизация таких профессий неизбежна, и она вызовет огромные изменения в обществе. У людей должно освобождаться всё больше и больше свободного времени, и это станет новой проблемой человечества. Вероятно, решать её будет или безусловный базовый доход, который позволит многим людям не работать совсем, или сильное сокращение рабочей недели. И то, и другое приведёт к буму индустрии развлечений и буму путешествий. Что дальше? Это вопрос уже к фантастам.

Юрий Гурский: как начинался Fabby 

«16 апреля этого года мы ехали в аэропорт с Юрием Мельничком и накидывали всякие разные идеи. И решили, что надо сделать технологию, способную отделять человека от фона на «лайв»-видео. Для чатов, делового общения и пр. Ну приятнее когда пляж сзади, а не трусы на верёвке.

В итоге сделали технологию, способную выделить не только человека, но и что угодно. Всё работает на девайсе, модно, по-пацански... Пару недель — и будет полностью [готово] «лайв»-видео и комбинированная реальность для общения. А главное — ядро готово, и можно во всякие серьёзные темы пойти тоже».  

Подробнее узнать о новом проекте Юрия Мельничка можно будет на AI Hackathon в Минске, который пройдёт при поддержке венчурного фонда Haxus 16-18 декабря в Парке высоких технологий.

Место солидарности беларусского ИТ-комьюнити

Далучайся!