近些日子狀況百出的AI頂流ChatGPT引發(fā)了背后公司OpenAI創(chuàng)始人的一些反思。
上周，OpenAI首席執(zhí)行官SamAltman在公司官網(wǎng)公布了對通用人工智能（AGI）當(dāng)下和后續(xù)規(guī)劃。AGI專注于研究像人一樣思考并從事多種用途的機器。
在文章中，Altman承認AGI技術(shù)能夠幫助人類的創(chuàng)造性實現(xiàn)質(zhì)的飛躍，但他更擔(dān)心，AGI的能力強大得超乎想象，應(yīng)用不當(dāng)可能對社會造成災(zāi)難性的后果。
因此，Altman認為必須更加謹慎創(chuàng)建和部署AGI模型，有意放慢其發(fā)展速度，幫助世界以更平穩(wěn)、更漸進的方式向AGI時代過渡，比如，通過部署低版本的AGI來適應(yīng)更加復(fù)雜的環(huán)境，或者對產(chǎn)品的應(yīng)用進行限制等等。
AGI應(yīng)用的三個原則
Altman在文中列出了OpenAI最關(guān)心的AGI應(yīng)用的三個原則：
1.我們希望AGI能讓人類在宇宙中最大限度地繁榮發(fā)展。不期望未來的世界是個不合格的烏托邦社會，但希望最大化好處，最小化壞處，讓AGI成為人類的放大器。
2.我們希望廣泛和公平地分享AGI的好處、獲取和治理。
3.我們希望成功應(yīng)對巨大風(fēng)險。在面對這些風(fēng)險時，理論上看似正確的事情在實踐中往往表現(xiàn)得比預(yù)期的更奇怪。我們認為必須通過部署功能較弱的技術(shù)版本來不斷學(xué)習(xí)和適應(yīng)，盡量減少“一次性成功”的情況。
越接近AGI，越謹慎
短期來看，Altman認為OpenAI應(yīng)為AGI時代的到來做好準(zhǔn)備，他建議，更加謹慎的創(chuàng)建和部署模型，對AGI應(yīng)用范圍進行限制，并對某些重大問題展開全球?qū)υ挕?/div>
Altman寫道：
首先，隨著我們不斷建立功能更強大的系統(tǒng)，我們希望部署它們并獲得在現(xiàn)實世界中操作它們的經(jīng)驗。我們相信，這是謹慎管理AGI的最佳方式——逐步過渡到一個有AGI的世界要比突然過渡好。我們期望強大的AI能使世界更快進步，我們認為最好是逐步適應(yīng)這一點。
我們目前認為，成功應(yīng)對AI部署挑戰(zhàn)的最佳方法是建立一個快速學(xué)習(xí)和謹慎迭代的緊密反饋循環(huán)。社會將面臨AI系統(tǒng)被允許做什么，如何消除偏見，如何處理工作崗位流失等等的重大問題。最佳決策將取決于技術(shù)的發(fā)展路徑，就像任何新領(lǐng)域一樣，迄今為止大多數(shù)專家的預(yù)測都是錯誤的。這使得脫離實際進行規(guī)劃非常困難。
隨著我們的系統(tǒng)越來越接近AGI，我們對模型的創(chuàng)建和部署越來越謹慎。我們的決定需要比社會通常對新技術(shù)的應(yīng)用更加謹慎，也比許多用戶所希望的更加謹慎。
其次，我們正在努力建立日益具有一致性和可控性的模型。我們從GPT-3的第一個版本到DirectGPT和ChatGPT的轉(zhuǎn)變就是一個早期的例子。
特別是，我們認為社會在AI的應(yīng)用方面達成一致是非常重要的，但在這些范圍內(nèi)，個人用戶有很大的自由裁量權(quán)。我們最終希望，世界各機構(gòu)就這些寬泛的界限定義達成一致;在較短期內(nèi)，我們計劃對外部投入進行試驗。世界各機構(gòu)需要增加能力和經(jīng)驗，為關(guān)于AGI的復(fù)雜決定做好準(zhǔn)備。
我們產(chǎn)品的“默認設(shè)置”可能會受到很大限制，但我們計劃讓用戶更容易改變他們使用的AI的行為。我們相信賦予個人自主決策的權(quán)力以及思想多樣性的內(nèi)在力量。
隨著我們的模型變得更加強大，我們將需要開發(fā)新的對齊（alignment）技術(shù)(并且在現(xiàn)有技術(shù)失敗時候進行理解測試)。我們的短期計劃是使用AI來幫助人類評估更復(fù)雜模型的輸出和監(jiān)控復(fù)雜系統(tǒng)，長期計劃是使用AI來幫助我們提出更好的對齊技術(shù)的新想法。
重要的是，我們認為必須在AI的安全性和能力方面均取得進展。把兩者分開討論是錯誤的，它們在許多方面是相互關(guān)聯(lián)的。最安全的系統(tǒng)來自能力最強的模型。也就是說，提高安全進步與能力進步的比率很重要。
第三，我們希望就三個關(guān)鍵問題展開全球?qū)υ?如何治理這些系統(tǒng)？如何公平分配它們產(chǎn)生的好處？以及如何公平共享訪問？
除了這三個領(lǐng)域之外，我們還試圖建立一種結(jié)構(gòu)，使我們的激勵措施產(chǎn)生良好的結(jié)果。我們的章程中有一個條款，即協(xié)助其他組織提高安全性，而不是在AGI開發(fā)的后期階段與他們競爭。
我們對股東獲得的回報設(shè)置了一個上限，這樣公司就沒有動力去自由地榨取價值并冒險部署一些具有潛在災(zāi)難危險性的東西(當(dāng)然也是作為一種與社會分享利益的方式)。
我們認為發(fā)布新系統(tǒng)之前進行獨立審計諸如此類的做法很重要，我們將在今年晚些時候討論更多細節(jié)。
關(guān)鍵時刻減速可能很重要
展望更遠的未來，Altman認為，為了防止AGI對世界造成災(zāi)難性的打擊，必須對AGI模型的建立進行更嚴格的審查，遇到重大決策時應(yīng)該進行公共咨詢。
我們相信，人類的未來應(yīng)該由人類決定，與公眾分享進步的信息很重要。應(yīng)該對所有試圖建立AGI的行為進行嚴格審查，并就重大決定進行公共咨詢。
第一個AGI將只是智力連續(xù)體上的一個點。我們認為，從那里開始進步還將繼續(xù)，速度可能會在很長一段時間內(nèi)以我們過去十年中看到的那樣保持。如果這是真的，世界可能會變得與今天截然不同，風(fēng)險也可能會非同尋常。如果一個超級智能的AGI發(fā)生錯位，可能會對世界造成嚴重傷害，一個擁有決定性超級智能領(lǐng)導(dǎo)的專制政權(quán)也具有同樣的殺傷力。
我們認為較慢的起飛速度更容易保證安全，AGI在關(guān)鍵時刻減速可能很重要(即使在一個我們不需要這樣做來解決技術(shù)調(diào)整問題的世界里，減速對于給社會足夠的時間來適應(yīng)可能也很重要)。
成功地過渡到一個擁有超級智能的世界，或許是人類歷史上最重要、最充滿希望、最可怕的項目。成功遠非板上釘釘，利害關(guān)系(無限的風(fēng)險和無限的好處)將有望把我們所有人團結(jié)起來。
聲明：凡資訊來源注明為其他媒體來源的信息，均為轉(zhuǎn)載自其他媒體，并不代表本網(wǎng)站贊同其觀點，也不代表本網(wǎng)站對其真實性負責(zé)。您若對該文章內(nèi)容有任何疑問或質(zhì)疑，請立即與中國機器人網(wǎng)(www.baoxianwx.cn)聯(lián)系，本網(wǎng)站將迅速給您回應(yīng)并做處理。
電話：021-39553798-8007
電話：021-39553798-8007
更多>相關(guān)資訊
0 條相關(guān)評論
