Stability AI выпустила бесплатный ИИ-генератор звука

Stable Audio Open — открытая модель в формате Text-to-Audio, которая генерирует 47-секундные музыкальные семплы и звуковые эффекты. Например, нейросеть может создать партию для фортепиано, барабанный бит, гитарный риф, шум дождя и многое другое. Для генерации музыки необходим текстовый запрос. Создавать новую музыку можно и на основе данных пользователя.

В блоге компании указано, что бесплатная открытая модель отличается от одноименной коммерческой. Закрытая версия может генерировать трехминутные треки с проработанной структурой. Также коммерческая версия поддерживает режим Audio-to-Audio, в котором в качестве запроса можно передать уже готовый трек.

Разработчики обучали открытую модель на данных сервисов FreeSound и Free Music Archive: для этого нейросеть проанализировала около 486 тысяч сэмплов. Это позволило соблюсти все требования к авторским правам. При этом пользователи должны ознакомиться с лицензией на использование открытой нейросети.