ИИ-эксперимент от Google позволяет дирижировать виртуальным оркестром в браузере

Для тех, кто не может удержаться при звуках классической музыки, Google разработала «ИИ-эксперимент» Semi-Conductor. Алгоритм отслеживает движения человека, имитирующего дирижёра, и генерирует по ним музыку в режиме реального времени, сообщает TechRadar.

Semi-Conductor работает через браузер, поэтому никакие данные не передаются Google или третьим лицам. Для начала проект запросит доступ к веб-камере, после чего проведёт небольшой инструктаж.

Пользователю потребуется отступить от камеры на такое расстояние, чтобы попадать в кадр с вытянутыми в противоположные стороны руками. Дирижёрская палочка при этом не понадобится и подражать жестам профессионалов тоже не обязательно, но приложение будет предлагать некоторые рекомендации по ходу «концерта».

Проект создан на основе PoseNet — модели машинного обучения, оценивающей положение тела человека. Она способна распознавать различные позы на изображениях и видео без специализированных программ или аппаратуры.

Среди множества других экспериментальных ИИ-проектов Google — AI Duet, который позволяет сыграть на виртуальном пианино с аккомпанементом прямо в браузере, и AutoDraw, который преобразует грубые наброски в картинки.