6 июня 2024, 14:18

Stability AI выпустила бесплатный ИИ-генератор звука

Компания опубликовала модель Stable Audio, которая генерирует музыку, звуковые эффекты и окружение. Модель и веса находятся на платформе Hugging Face.

Оставить комментарий

Stability AI выпустила бесплатный ИИ-генератор звука

Компания опубликовала модель Stable Audio, которая генерирует музыку, звуковые эффекты и окружение. Модель и веса находятся на платформе Hugging Face.

Stable Audio Open — открытая модель в формате Text-to-Audio, которая генерирует 47-секундные музыкальные семплы и звуковые эффекты. Например, нейросеть может создать партию для фортепиано, барабанный бит, гитарный риф, шум дождя и многое другое. Для генерации музыки необходим текстовый запрос. Создавать новую музыку можно и на основе данных пользователя.

В блоге компании указано, что бесплатная открытая модель отличается от одноименной коммерческой. Закрытая версия может генерировать трехминутные треки с проработанной структурой. Также коммерческая версия поддерживает режим Audio-to-Audio, в котором в качестве запроса можно передать уже готовый трек.

Разработчики обучали открытую модель на данных сервисов FreeSound и Free Music Archive: для этого нейросеть проанализировала около 486 тысяч сэмплов. Это позволило соблюсти все требования к авторским правам. При этом пользователи должны ознакомиться с лицензией на использование открытой нейросети.