IT之家12月19日消息，開發(fā)了ChatGPT的OpenAI公司日前宣布成立新的“防備（Preparedness）”團隊，旨在監(jiān)控旗下技術可能帶來的潛在威脅，防止其落入壞人之手，甚至被用于制造化學和生物武器。
該團隊由麻省理工學院人工智能教授亞歷山大?馬德里(Aleksander Madry)領導，將招募人工智能研究人員、計算機科學家、國家安全專家和政策專家等，對OpenAI開發(fā)的技術進行持續(xù)監(jiān)測和測試，一旦發(fā)現(xiàn)任何危險苗頭，及時向公司發(fā)出警告。
OpenAI周一發(fā)布了名為“防備框架”（Preparedness framework）的指導方針，并強調(diào)這套指南仍處于測試階段。
據(jù)悉，防備團隊每月將向一個新的內(nèi)部安全咨詢小組發(fā)送報告，該小組隨后將對其進行分析，并向OpenAI首席執(zhí)行官薩姆?阿爾特曼和董事會提交建議。阿爾特曼和公司高層可以根據(jù)這些報告決定是否發(fā)布新的AI系統(tǒng)，但董事會有權撤銷這一決定。
防備團隊將反復評估OpenAI最先進、尚未發(fā)布的AI模型，根據(jù)不同類型的感知風險評為四個等級，從低到高依次是“低”、“中”、“高”和“嚴重”。根據(jù)新的指導方針，OpenAI將只推出評級為“低”和“中”的模型。
OpenAI的“防備”團隊介于兩個現(xiàn)有團隊之間：負責消除AI系統(tǒng)中種族偏見等現(xiàn)有問題的“安全系統(tǒng)”團隊，以及研究如何確保AI在超越人類智能的未來場景中不會傷害人類的“超級對齊（Superalignment）”團隊。
IT之家注意到，ChatGPT的火爆以及生成式AI技術的快速發(fā)展引發(fā)了科技界關于該技術潛在危險性的激烈討論。來自OpenAI、谷歌和微軟的知名AI專家今年警告稱，該技術可能對人類構成與流行病或核武器相當?shù)纳嫱{。其他AI研究人員則認為，過度關注這些遙遠的巨大風險，忽視了AI技術目前已經(jīng)造成的潛在危害。也有一些AI商業(yè)領袖認為，關于風險的擔憂被夸大了，公司應該繼續(xù)推進技術發(fā)展，造福社會并從中獲益。
OpenAI在這場辯論中采取了較為折中的立場。首席執(zhí)行官薩姆?阿爾特曼(Sam Altman)承認該技術存在嚴重的長期風險，但也呼吁人們關注解決現(xiàn)有問題。他認為，監(jiān)管不應該阻礙小型公司在AI領域的競爭。同時，他也推動公司實現(xiàn)技術商業(yè)化，籌集資金加快發(fā)展。
馬德里是資深AI研究人員，曾在麻省理工學院負責可部署機器學習中心，并共同領導麻省理工學院AI政策論壇。今年他加入了OpenAI，但在阿爾特曼被董事會解雇后，曾與少數(shù)OpenAI高管一道辭職，五天后當阿爾特曼復職時，馬德里回到了公司。OpenAI由一個非營利董事會管理，其使命是促進AI發(fā)展并使其造福全人類。在阿爾特曼復職后，三名解雇他的董事會成員辭職，目前該組織正在遴選新的董事會成員。
盡管領導層經(jīng)歷了“動蕩”，馬德里表示，他仍然相信OpenAI董事會認真對待AI的風險。
除了AI領域的人才，OpenAI的“防備”團隊還將招募來自國家安全等領域的專家，幫助公司了解如何應對重大風險。馬德里表示，團隊已經(jīng)開始與美國核安全局等機構進行接觸，確保公司能夠適當?shù)匮芯緼I的風險。
該團隊的重點之一是監(jiān)控OpenAI的技術何時以及如何引導人們進行計算機入侵或制造危險的化學、生物和核武器，超出人們通過常規(guī)研究可以在網(wǎng)上找到的內(nèi)容。馬德里正在尋找這樣的人才：“他們會深入思考，‘我如何突破這些規(guī)則？我如何成為最機智的反派？’”
OpenAI在周一的一篇博客文章中表示，公司還將允許來自OpenAI之外的“合格的獨立第三方”測試其技術。
馬德里表示，他既不同意那些擔心AI已經(jīng)超越人類智能的“末日論者”，也不同意那些希望移除所有AI發(fā)展障礙的“加速主義者”。
他說：“我真切地認為，將發(fā)展和抑制截然分開是一種非常簡單的劃分方式。AI擁有巨大的潛力，但我們也需要努力確保這些潛力得以實現(xiàn)，并且最大程度避免負面影響。”
