meta近日在Github上開源了其AI語言模型MusicGen,該模型基于谷歌2017年推出的Transformer模型。如同模型名稱所示,MusicGen主要用于音樂生成,它可以將文本和已有的旋律轉化為完整樂曲。

研發(fā)團隊表示:“我們使用了20000小時的授權音樂來對訓練該模型,并采用meta的EnCodec編碼器將音頻數據分解為更小的單元進行并行處理,進而讓MusicGen的運算效率和生成速度都比同類型AI模型更為出色。”
除此之外,MusicGen還支持文本與旋律的組合輸入,例如你可以提出生成“一首輕快的曲目”并同時要求“將它與貝多芬的《歡樂頌》結合起來”。
研發(fā)團隊還對MusicGen的實際表現進行了測試。結果顯示,與谷歌的MusicLM以及Riffusion、Mousai、Noise2Music等其他音樂模型相比,MusicGen在測試音樂與文本提示的匹配度以及作曲的可信度等指標上表現更好,總體而言略高于谷歌MusicLM的水平。
meta已允許該模型的商業(yè)使用,并在Huggingface上發(fā)布了一個供演示用的網頁應用。