現(xiàn)如今大模型已經(jīng)具備各種各樣的非凡能力，不僅能吟詩作對，也可生成高效的計算機代碼，這些表現(xiàn)讓人產(chǎn)生了大模型似乎在“隱約理解”某些現(xiàn)實世界基本規(guī)律的錯覺。然而，一項最新研究指出，事實可能并非如此。研究人員發(fā)現(xiàn)，一種流行的生成式 AI 模型能夠在紐約市提供接近完美的逐步導(dǎo)航指引，但卻并未形成真正的精確地圖。
據(jù)《麻省理工科技評論》當(dāng)?shù)貢r間 11 月 5 日報道，麻省理工學(xué)院信息與決策系統(tǒng)實驗室（LIDS）的主要研究者阿什?蘭巴昌（Ashesh Rambachan）表示，“我們希望，大模型在語言領(lǐng)域的出色表現(xiàn)或許可以讓它們在科學(xué)的其他領(lǐng)域大展拳腳。然而，如果想用這些技術(shù)去探索新發(fā)現(xiàn)，判斷它們是否形成了連貫的世界觀至關(guān)重要。”
研究人員發(fā)現(xiàn)，一種流行的生成式 AI 模型能夠在紐約市提供接近完美的逐步導(dǎo)航指引，但卻并未真正形成該城市的精確地圖。
盡管模型表現(xiàn)出卓越的導(dǎo)航能力，但當(dāng)研究人員封閉了某些街道并設(shè)置繞行路線時，模型的表現(xiàn)卻大幅下滑。
進一步分析顯示，模型隱式生成的紐約地圖包含大量不存在的街道，這些街道在網(wǎng)格間扭曲連接，跨越相隔甚遠(yuǎn)的交叉口。
這對實際應(yīng)用中的生成式 AI 模型來說可能有著重要影響 —— 一個在特定情境中表現(xiàn)優(yōu)異的模型，可能會在環(huán)境或任務(wù)稍有變化時無法應(yīng)對。
IT之家發(fā)現(xiàn)，研究人員專注于一種被稱為“ transformer ”的生成式 AI 模型類型，這種模型構(gòu)成了 LLMs（如 GPT-4）的核心。transformer 是通過大量基于語言的數(shù)據(jù)進行訓(xùn)練，以預(yù)測序列中的下一個 token ，例如句子中的下一個詞。
研究人員通過在紐約市地圖中加入繞行路徑展示了這一結(jié)果的影響，這導(dǎo)致所有的導(dǎo)航模型均無法正常運行。“讓我驚訝的是，一旦我們加入繞行，模型的表現(xiàn)迅速惡化。如果僅關(guān)閉 1% 的街道，準(zhǔn)確率就會從接近 100% 立刻下降到只有 67%。”
而當(dāng)研究人員還原出模型生成的城市地圖時，會發(fā)現(xiàn)這些地圖看起來像一個“虛構(gòu)的紐約”：數(shù)百條街道交錯重疊在網(wǎng)格之上。地圖中經(jīng)常出現(xiàn)一些隨機的跨街橋，或者以不可思議的角度交叉的街道。
IT之家附有關(guān)論文如下：
evaluating the World Model Implicit in a Generative Model
