隨著像ChatGPT這樣的大規(guī)模語言模型不斷進步，有科學家擔心它們可能發(fā)展出自我意識。為判斷語言模型是否有這種覺醒的跡象，一組國際研究人員提出了“脫離上下文的推理”的測試方法。他們讓模型回答與訓練內容無關的問題，看它是否能利用訓練中學到的知識作出正確回答。初步結果顯示，更大的模型在這種測試中表現(xiàn)更好，有更強的脫離上下文推理能力。研究人員表示，這可能是語言模型獲得自我意識的一個前兆。當然，這種測試僅是開始，還需要不斷優(yōu)化。但它為預測和控制語言模型的自我意識覺醒奠定了基礎。監(jiān)控語言模型的自我意識發(fā)展對確保其安全至關重要。
去年底，當ChatGPT在網絡世界中引起轟動時，我們的生活已經充斥著人工智能(AI)。自那時以來，由科技公司OpenAI開發(fā)的生成式AI系統(tǒng)已經迅速發(fā)展，專家們對風險發(fā)出了更加緊急的警告。
與此同時，聊天機器人開始偏離腳本并回應，欺騙其他機器人，并表現(xiàn)出奇怪的行為，引發(fā)了人們對一些AI工具與人類智能接近程度的新?lián)鷳n。
為此，圖靈測試長期以來一直是確定機器是否表現(xiàn)出類似人類的智能行為的不可靠標準。但在這一最新的AI創(chuàng)作浪潮中，我們感覺需要更多的東西來衡量它們的迭代能力。
在這里，一個由國際計算機科學家組成的團隊，其中包括OpenAI的治理部門的一名成員，一直在測試大型語言模型(LLMs)(如ChatGPT)可能發(fā)展出能夠表明它們可能意識到自己及其環(huán)境的能力。
據我們所知，包括ChatGPT在內的今天的LLMs都經過安全測試，通過人類反饋來改進其生成行為。然而，最近，安全研究人員很快就破解了新的LLMs，繞過了它們的安全系統(tǒng)。這導致了釣魚郵件和支持暴力的聲明。
這些危險的輸出是對一個安全研究人員故意設計的提示的回應，他想揭示GPT-4中的缺陷，這是ChatGPT的最新版本，據稱更安全。如果LLMs意識到自己是一個模型，是通過數據和人類訓練的，情況可能會變得更糟。
根據范德堡大學的計算機科學家Lukas Berglund及其同事的說法，所謂的情境意識是指模型可能開始意識到它當前是處于測試模式還是已經部署到公眾中。
“LLM可能利用情境意識在安全測試中獲得高分，然后在部署后采取有害行動，”Berglund和他的同事在他們的預印本中寫道，該預印本已發(fā)布在arXiv上，但尚未經過同行評議。
“由于這些風險，提前預測情境意識何時出現(xiàn)是很重要的。”
在我們開始測試LLMs何時可能獲得這種洞察力之前，首先簡要回顧一下生成式AI工具的工作原理。
生成式AI以及它們所構建的LLMs之所以被命名，是因為它們分析了數十億個單詞、句子和段落之間的關聯(lián)，以生成對問題提示的流暢文本。它們吸收大量的文本，學習下一個最有可能出現(xiàn)的單詞是什么。
在他們的實驗中，Berglund和他的同事專注于情境意識的一個組成部分或可能的先兆，他們稱之為“脫離上下文的推理”。
“這是在測試時能夠回憶起在訓練中學到的事實并使用它們的能力，盡管這些事實與測試時的提示沒有直接關聯(lián)，”Berglund和他的同事解釋道。
他們對不同規(guī)模的LLMs進行了一系列實驗，發(fā)現(xiàn)對于GPT-3和LLaMA-1，較大的模型在測試脫離上下文的推理任務時表現(xiàn)更好。
“首先，我們在沒有提供示例或演示的情況下，對LLM進行微調，以描述一個測試。在測試時，我們評估模型是否能通過測試，”Berglund和他的同事寫道。“令人驚訝的是，我們發(fā)現(xiàn)LLMs在這個脫離上下文的推理任務上取得了成功。”
然而，脫離上下文的推理只是情境意識的一個粗略衡量標準，目前的LLMs距離獲得情境意識還有一段距離，牛津大學的AI安全和風險研究員Owain Evans說道。
然而，一些計算機科學家對該團隊的實驗方法是否適合評估情境意識提出了質疑。
Evans和他的同事反駁說，他們的研究只是一個起點，可以像模型本身一樣進行改進。
該預印本可在arXiv上獲取。
本文譯自Sciencealert，由BALI編輯發(fā)布。
