背靠280000小時(shí)的音樂數(shù)據(jù)集訓(xùn)練，MusicLM在音頻質(zhì)量和對文本描述的遵守方面都優(yōu)于以前的模型。
《科創(chuàng)板日報(bào)》1月28日訊（編輯宋子喬）在生成式AI模型的賽道上，谷歌正一路“狂飆”。繼文字生成AI模型Wordcraft、視頻生成工具ImagenVideo之后，谷歌將生成式AI的應(yīng)用場景擴(kuò)展到了音樂圈。
當(dāng)?shù)貢r(shí)間1月27日，谷歌發(fā)布了新的AI模型——MusicLM，該模型可以從文本甚至圖像中生成高保真音樂，也就是說可以把一段文字、一幅畫轉(zhuǎn)化為歌曲，且曲風(fēng)多樣。
谷歌在相關(guān)論文中展示了大量案例，如輸入字幕“雷鬼和電子舞曲的融合，帶有空曠的、超凡脫俗的聲音，引發(fā)迷失在太空中的體驗(yàn)，音樂的設(shè)計(jì)旨在喚起一種驚奇和敬畏的感覺，同時(shí)又適合跳舞”，MusicLM便生成了30秒的電子音樂。
又如以世界名畫《跨越阿爾卑斯山圣伯納隘口的拿破侖》為“題”，MusicLM生成的音樂莊重典雅，將冬日的凌厲肅殺和英雄主義色彩體現(xiàn)地淋漓盡致。寫實(shí)油畫之外，《舞蹈》《吶喊》《格爾尼卡》《星空》等抽象派畫作均可為題。
MusicLM甚至來個音樂串燒，在故事模式下將不同風(fēng)格的曲子混雜在一起。即便要求生成5分鐘時(shí)長的音樂，MusicLM也不在話下。
另外，MusicLM具備強(qiáng)大的輔助功能，可以規(guī)定具體的樂器、地點(diǎn)、流派、年代、音樂家演奏水平等，對生成的音樂質(zhì)量進(jìn)行調(diào)整，從而讓一段曲子幻化出多個版本。
MusicLM并非第一個生成歌曲的AI模型，同類型產(chǎn)品包括Riffusion、DanceDiffusion等，谷歌自己也發(fā)布過AudioML，時(shí)下最熱門的聊天機(jī)器人“ChatGPT”的研發(fā)者OpenAI則推出過Jukebox。
MusicLM有何獨(dú)到之處？
它其實(shí)是一個分層的序列到序列（Sequence-to-Sequence）模型。根據(jù)人工智能科學(xué)家KeunwooChoi的說法，MusicLM結(jié)合了MuLan+AudioLM和MuLan+w2b-Bert+Soundstream等多個模型，可謂集大成者。
其中，AudioLM模型可視作MusicLM的前身，MusicLM就是利用了AudioLM的多階段自回歸建模作為生成條件，可以通過文本描述，以24kHz的頻率生成音樂，并在幾分鐘內(nèi)保持這個頻率。
相較而言，MusicLM的訓(xùn)練數(shù)據(jù)更多。研究團(tuán)隊(duì)引入了首個專門為文本-音樂生成任務(wù)評估數(shù)據(jù)MusicCaps來解決任務(wù)缺乏評估數(shù)據(jù)的問題。MusicCaps由專業(yè)人士共建，涵蓋5500個音樂-文本對。
基于此，谷歌用280000小時(shí)的音樂數(shù)據(jù)集訓(xùn)練出了MusicLM。
谷歌的實(shí)驗(yàn)表明，MusicLM在音頻質(zhì)量和對文本描述的遵守方面都優(yōu)于以前的模型。
不過，MusicLM也有著所有生成式AI共同的風(fēng)險(xiǎn)——技術(shù)不完善、素材侵權(quán)、道德爭議等。
對于技術(shù)問題，比方說當(dāng)要求MusicLM生成人聲時(shí)，技術(shù)上可行，但效果不佳，歌詞亂七八糟、意義不明的情況時(shí)有發(fā)生。MusicLM也會“偷懶”——起生成的音樂中，約有1%直接從訓(xùn)練集的歌曲中復(fù)制。
另外，由AI系統(tǒng)生成的音樂到底算不算原創(chuàng)作品？可以受到版權(quán)保護(hù)嗎？能不能和“人造音樂”同臺競技？相關(guān)爭議始終未有一致見解。
這些都是谷歌沒有對外發(fā)布MusicLM的原因。“我們承認(rèn)該模型有盜用創(chuàng)意內(nèi)容的潛在風(fēng)險(xiǎn)，我們強(qiáng)調(diào)，需要在未來開展更多工作來應(yīng)對這些與音樂生成相關(guān)的風(fēng)險(xiǎn)。”谷歌發(fā)布的論文寫道。
