來自堪薩斯大學(xué)的科學(xué)家們周三發(fā)表了一篇論文，詳細介紹了他們所說的一種算法，該算法可以檢測出ChatGPT參與下的學(xué)術(shù)寫作，準(zhǔn)確率超過99%。隨著人工智能聊天機器人的內(nèi)容開始充斥世界，最大的擔(dān)憂之一是可靠地發(fā)現(xiàn)機器人和真正的人類之間的文字差異。
已經(jīng)有一些人嘗試建立ChatGPT檢測器，有幾十家公司正在競爭建立人工智能檢測技術(shù)。但到目前為止，沒有一個方案能很好地發(fā)揮作用，即使是由開罰ChatGPT的公司OpenAI打造的方案?，F(xiàn)有的工具效果很差，基本上沒有用處。
論文中描述的ChatGPT發(fā)現(xiàn)者只是為了在特定情況下工作而建立的，但其報告的成功似乎很有希望。在構(gòu)建過程中，研究人員說他們已經(jīng)發(fā)現(xiàn)了人工智能寫作的蛛絲馬跡。
這篇經(jīng)過同行評議并發(fā)表在《細胞報告-物理科學(xué)》上的論文，描述了一種能嗅出人工智能撰寫的學(xué)術(shù)研究文章的技術(shù)。該研究選擇了一組由人類作者撰寫的64篇科學(xué)研究文章，涉及不同的學(xué)科--從生物學(xué)到物理學(xué)。他們將這些數(shù)據(jù)輸入ChatGPT，并利用它產(chǎn)生了一個128篇人工智能文章的數(shù)據(jù)集，其中總共有1276段價值不菲的聊天機器人產(chǎn)生的語句?？茖W(xué)家們使用這些假的段落來建立他們的ChatGPT檢測算法。然后他們把一個新的數(shù)據(jù)集放在一起，用30篇真正的文章和60篇ChatGPT寫的文章來測試他們的算法，總共有1210段。
研究人員稱，他們的算法100%地檢測到了由ChatGPT編寫的整篇文章。在段落層面上，其準(zhǔn)確性較低，但仍然令人印象深刻：該算法發(fā)現(xiàn)了92%的人工智能生成段落。
研究人員希望其他人能夠利用他們的工作，根據(jù)他們自己的利基和目的定制檢測軟件。該論文的作者、堪薩斯大學(xué)的化學(xué)教授Heather Desaire在接受Eurekalert采訪時說："我們努力創(chuàng)造一種可獲得的方法，以便在很少的指導(dǎo)下，甚至高中生也能為不同類型的寫作建立一個人工智能檢測器。有必要解決人工智能寫作的問題，人們不需要計算機科學(xué)學(xué)位就能在這個領(lǐng)域做出貢獻。"
該論文說，ChatGPT的工作有一些明顯的跡象。首先，人類作家寫的段落更長，使用的詞匯量更大，包括更多的標(biāo)點符號，并傾向于用"然而"、"但是"和"雖然"等詞來限定他們的陳述。ChatGPT在引用數(shù)字和提及其他科學(xué)家等方面也不太具體。
對于希望懲罰作弊的高中老師來說，堪薩斯大學(xué)研究人員建立的模型并不能馬上拿來用。該算法是為學(xué)術(shù)寫作而建立的，特別是在科學(xué)雜志上看到的那種學(xué)術(shù)寫作。這對導(dǎo)師和管理人員來說是個恥辱，他們在過去六個月里對ChatGPT促成的抄襲行為感到恐慌。然而，理論上可以使用同樣的技術(shù)來建立一個檢測其他類型寫作的模型。
當(dāng)你考慮到一個事實，即作者可以很容易地對一段聊天機器人的寫作進行一些小調(diào)整，使其更難被發(fā)現(xiàn)，整個方案的有效性就會崩潰。盡管如此，研究人員仍將這項工作描述為"概念證明"，并表示他們可以通過更大的數(shù)據(jù)集開發(fā)出更強大、也許更準(zhǔn)確的工具。
盡管這些結(jié)果可能很有希望，但科技公司和人工智能推動者表示，像ChatGPT這樣的工具還處于起步階段。如果人工智能繼續(xù)以我們在過去幾年中看到的迅猛速度發(fā)展，像這樣的檢測方法是否會站得住腳，現(xiàn)在還無法說。大型語言模型越是接近于復(fù)制有血有肉的人類寫作的雜音，就越難識別出機器人語言的痕跡。
