Новая ИИ-система Google под названием MusicLM умеет создавать музыкальные фрагменты, исполненные в разных стилях и разными инструментами, на основе текстового описания, сообщает TechCrunch. Но выкладывать её в открытый доступ компания пока не планирует.
Генерировать произведения по описаниям высокой сложности систему обучали на датасете, содержащем более 280 тысяч часов музыки. Она может, например, создать «техно Берлина 90-х с низкими басами», «саундтрек в стиле электро для видеоигры» или «завораживающую джазовую песню с цепляющим соло на саксофоне и вокальным соло».
MusicLM способна генерировать фрагменты длиной в несколько минут. Также ей можно вводить сразу несколько текстовых описаний — на выходе получится своего рода музыкальная история. В качестве вводных данных может быть не только текст, но и мелодии — их можно напеть, насвистеть или наиграть на музыкальном инструменте, а также картинка с текстовым описанием. Можно даже регулировать уровень профессионализма, а также создавать музыку, вдохновлённую разными местами и эпохами.
Издание отмечает, что её работы уступают творчеству человека цельностью и оригинальностью, есть странные шумы, а качество в целом и вокальные партии оставляют желать лучшего. Но с учётом того, что в процессе создания не участвует ни один живой музыкант или композитор, синтезированные фрагменты звучат впечатляюще. У MusicLM получается уловить нюансы — например, характерные риффы, мелодии и оттенки настроения.
Разработчики признают, что с использованием нейросети связаны разные этические и правовые вопросы — например, в синтезированные мелодии могут попадать фрагменты, защищённые авторским правом из обучающих баз. Исследователи говорят, что около 1% музыки, созданной системой, напрямую копирует песни из тренировочного датасета — и, судя по всему, выкладывать MusicLM в нынешнем состоянии пока рано.
Научная работа, в которой описана MusicLM, размещена на arXiv.org. Послушать образцы её творений можно здесь.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.