為了驗(yàn)證這一觀點(diǎn)，研究人員開(kāi)發(fā)了一款能夠衡量 AI 創(chuàng)造力的程序。倫敦大學(xué)學(xué)院研究 AI 創(chuàng)意性的計(jì)算機(jī)科學(xué)家 Mirco Musolesi 指出，評(píng)估創(chuàng)造力是“一個(gè)復(fù)雜且有趣的挑戰(zhàn)”，并認(rèn)為這一新方法在解決語(yǔ)言新穎性問(wèn)題這一方面表現(xiàn)出色。

 

自生成式 AI 和大語(yǔ)言模型問(wèn)世以來(lái)，科學(xué)界對(duì)其創(chuàng)作能力一直存在質(zhì)疑。盡管這些 AI 可以快速生成看似人類創(chuàng)作的文字，但部分學(xué)者認(rèn)為其并未真正創(chuàng)新，只是簡(jiǎn)單地重組訓(xùn)練語(yǔ)料中的內(nèi)容。批評(píng)者將其比作“隨機(jī)鸚鵡”（IT之家注：盲目重復(fù)已知文本）。

 

然而量化這種創(chuàng)造力并非易事。科學(xué)家通常采取兩種方法：一是用計(jì)算機(jī)檢測(cè)抄襲跡象 —— 但“無(wú)抄襲”不代表“原創(chuàng)性”；二是讓人類評(píng)分評(píng)估流暢性和原創(chuàng)性 —— 但這一過(guò)程主觀且耗時(shí)。

 

對(duì)此，華盛頓大學(xué)的計(jì)算機(jī)科學(xué)家 Lu Ximing 和團(tuán)隊(duì)開(kāi)發(fā)了一款名為 DJ Search 的工具。它既具備客觀性，又能捕捉細(xì)微差異。該工具從 AI 輸出文本中提取短語(yǔ)片段，并在數(shù)據(jù)庫(kù)中查找相似內(nèi)容。它不僅尋找完全匹配，還會(huì)識(shí)別語(yǔ)義相近的表達(dá)。借助 AI 算法分析詞義，它通過(guò)嵌入向量判斷同義詞。最終，其通過(guò)計(jì)算未匹配部分在文本中的占比來(lái)評(píng)估 AI 輸出的新穎性。

 

研究發(fā)現(xiàn)，人類在詩(shī)歌、小說(shuō)和演講領(lǐng)域的表現(xiàn)明顯優(yōu)于 AI，分別高出 80%、100% 和 150%。

 

DJ Search 還可以比較人類作品，例如《饑餓游戲》的語(yǔ)言原創(chuàng)性比《暮光之城》高 35%。研究負(fù)責(zé)人 Lu 將 AI 類比為 DJ：“它們像 DJ 混音音樂(lè)一樣拼接文本，盡管精彩，卻無(wú)法取代作曲家。”

 

加州大學(xué)洛杉磯分校的計(jì)算機(jī)科學(xué)家 Nanyun Violet Peng 建議，未來(lái)應(yīng)評(píng)估整體敘事的原創(chuàng)性，而非僅限于語(yǔ)言層面。