Новая ИИ-модель Microsoft создаёт 90-минутные подкасты из текста

В отличие от привычных решений на базе Copilot, VibeVoice сфокусирован исключительно на Text-to-Speech (TTS). Пользователь вводит текст, а модель преобразует его в аудиофайл с несколькими голосами, имитируя естественную беседу.

Система поддерживает до четырех разных «спикеров» и сохраняет естественные паузы и последовательность речи, что отличает ее от многих традиционных TTS-моделей.

Уже доступно две версии: с 1,5 миллиарда параметров (генерирует до 90 минут речи с контекстным окном 64k) и с 7 миллиардов параметров (ограничение до 45 минут при 32k контексте, но более высокое качество). В будущем появится облегченная версия на 0,5 миллиарда параметров, рассчитанная на потоковую генерацию в реальном времени.

Для локального запуска потребуется от 7 до 18 ГБ видеопамяти GPU, однако протестировать VibeVoice можно и онлайн, воспользовавшись веб-интерфейсом. Сейчас модель обучена только на английском и китайском языках, но разработчики планируют добавить новые. Исходный код можно найти на GitHub и Hugging Face.

Разработчики отмечают, что система умеет передавать эмоции и поддерживает многоголосие, но пока слабо справляется с пением. В дальнейшем планируется внедрить клонирование голосов. Помимо очевидных применений для подкастов и видеороликов, технология может стать ценным инструментом для образовательных сервисов.

Когда ИИ полностью заменит программистов? Учёные: очень нескоро

По теме

Когда ИИ полностью заменит программистов? Учёные: очень нескоро

Бизнесмен придумал фейковый ИИ и обманул инвесторов на $4,5 млн

По теме

Бизнесмен придумал фейковый ИИ и обманул инвесторов на $4,5 млн

ИИ забирает работу у джунов — теперь это доказали учёные

По теме

ИИ забирает работу у джунов — теперь это доказали учёные

devby 17 лет!

Вспоминаем наш (и ваш) переходный возраст и делимся виш-листом