Udacity учит нейросеть генерировать видеолекции по аудио

Создание контента — особенно профессиональных лекций — для платформ массовых онлайн-курсов занимает достаточно много ресурсов и времени. Поэтому исследователи популярной площадки Udacity решили создать фреймворк машинного обучения, автоматически генерирующий видеоролики на основе начитанного материала, пишет VentureBeat.

В работе на Arxiv.org учёные представили ИИ-систему LumièreNet, которая синтезирует видео любой продолжительности с инструктором почти в полный рост на основе аудио и соответствующих визуальных материалов.

Модель содержит компонент для определения положения тела, который генерирует изображения лектора, опираясь на кадры из тренировочного датасета. Второй компонент — двунаправленная сеть долгой краткосрочной памяти (BLSTM network) — принимает входное аудио и устанавливает связь между ним и визуальными элементами.

Для тестирования LumièreNet исследователи сняли 8 часов лекцию в студии Udacity. По их словам, результат ИИ получился «убедительным»: отмечаются плавная жестикуляция и реалистичные причёски, но в целом обмануть человеческий глаз искусственным видеороликам не удастся. К примеру, нейросеть не улавливает такие детали, как движения глаз, губ, волос и одежды, поэтому люди на сгенерированных видео почти не моргают и мимика выглядит неестественно. Иногда глаза смотрят в разные стороны, а руки — расплывчаты.

Учёные планируют усовершенствовать систему, добавив больше лицевых точек и обучив её отдельно генерировать различные элементы.