麻省理工學院(MIT)和微軟的研究學者發(fā)現(xiàn),GPT-4模型具有優(yōu)秀的代碼自我糾錯能力,而GPT-3.5不具有該特性,目前論文已經(jīng)發(fā)布于ArXiv中。

▲圖源ArXiv

▲圖源ArXiv
當下市面上已經(jīng)涌現(xiàn)出了一批專為代碼而生的AI模型,但目前更多只是起到輔助開發(fā)者寫代碼的作用,例如IT之家小伙伴們熟悉的微軟Copilot助理,這些AI模型當下僅能夠生成代碼片段,因此尚不能完全替代人工開發(fā)者。
研究人員通過研究GPT-4表示,當下實際上可以通過“模型的自我糾錯”方式,令模型“反思自身所存在的不足之處”,以提升代碼片段長度、并改善輸出結(jié)果的準確度。
來自愛丁堡大學的研究者符堯表示,只有GPT-4才具備自我改進的能力,而較弱的GPT-3.5則沒有這種特性,這一發(fā)現(xiàn)表明大型模型可能具有一種新型能力,即通過一系列用戶反饋令AI自我糾錯,最終得到令用戶滿意的結(jié)果,這種自我糾錯的能力可能只存在于足夠成熟的AI模型中。
在經(jīng)過自我糾錯后,GPT-4模型輸出的代碼有71%達到研究人員設定的要求,而使用GPT-4對GPT-3.5所生成的代碼經(jīng)過糾錯后,這一批代碼的通過率也達到了54%。
研究人員表示,當下可以將GPT-4的自我糾錯方式應用于商業(yè)中,在扣除一系列糾錯冗余成本后,依然能夠產(chǎn)生一定的收益。論文總能夠在一定程度上反映行業(yè)未來的趨勢,因此有望在今后涌現(xiàn)出一批基于GPT-4的代碼生成器。