對于所有的大肆宣傳，像OpenAI的GPT-4這樣的文本生成人工智能模型會犯很多錯誤--其中一些是有害的。這些模型背后的公司說，他們正在采取措施解決這些問題，比如實(shí)施過濾器和人類版主團(tuán)隊(duì)來糾正被標(biāo)記的問題。但沒有一個正確的解決方案。即使是今天最好的模型，也容易受到偏見、毒性和惡意攻擊的影響。
為了追求"更安全"的文本生成模型，NVIDIA今天發(fā)布了NeMo Guardrails，這是一個開源工具包，旨在使人工智能驅(qū)動的應(yīng)用程序更加"準(zhǔn)確、適當(dāng)、符合主題和安全"。
NVIDIA的應(yīng)用研究副總裁Jonathan Cohen說，該公司已經(jīng)在Guardrails的底層系統(tǒng)上工作了"多年"，但就在大約一年前意識到它很適合GPT-4和ChatGPT這樣的模型。
"從那時起，我們一直在朝著NeMo Guardrails的這個版本發(fā)展，"Cohen通過電子郵件表示。"人工智能模型安全工具對于為企業(yè)用例部署模型至關(guān)重要。"
Guardrails包括代碼、示例和文檔，用于為生成文本和語音的AI應(yīng)用"增加安全性"。NVIDIA聲稱，該工具包旨在與大多數(shù)生成性語言模型配合使用，允許開發(fā)人員使用幾行代碼創(chuàng)建規(guī)則。
具體而言，Guardrails可用于防止--或至少試圖防止模型偏離主題，用不準(zhǔn)確的信息或有毒的語言進(jìn)行回應(yīng)，以及與"不安全"的外部來源建立聯(lián)系。例如，可以考慮不讓客戶服務(wù)助理回答關(guān)于天氣的問題，或者不讓搜索引擎聊天機(jī)器人鏈接到不值得信賴的學(xué)術(shù)期刊。
Cohen說："最終，開發(fā)者通過Guardrails控制他們的應(yīng)用程序的界限，"他說。"他們可能會開發(fā)出過于寬泛的護(hù)欄，或者反過來說，對于他們的用例來說過于狹窄。"
對語言模型的缺點(diǎn)進(jìn)行普遍修復(fù)，聽起來好得不像真的--事實(shí)上也是如此。雖然像Zapier這樣的公司正在使用Guardrails為他們的生成模型增加一層安全保障，但NVIDIA承認(rèn)，這個工具包并非不完美；換句話說，它不會抓住一切不對勁的地方。
Cohen還指出，Guardrails與那些"足夠擅長遵循指令"的模型配合得最好，比如ChatGPT，以及使用流行的LangChain框架來構(gòu)建AI驅(qū)動的應(yīng)用程序。這使一些開源的選擇失去了資格。
而且，撇開技術(shù)的有效性不談，必須強(qiáng)調(diào)的是，NVIDIA不一定是出于善意而發(fā)布Guardrails的。它是該公司NeMo框架的一部分，可通過NVIDIA的企業(yè)AI軟件套件及其NeMo完全管理的云服務(wù)獲得。任何公司都可以實(shí)施Guardrails的開源版本，但NVIDIA肯定更希望他們?yōu)橥泄馨姹靖顿M(fèi)。
