IT之家4月26日消息，人工智能（AI）的發(fā)展日新月異，但也存在一些難題，比如AI模型有時會出現(xiàn)“幻覺”，即說出錯誤的事實、涉及有害的話題或?qū)е掳踩L險。為了解決這個問題，英偉達在周二發(fā)布了一款新的軟件，名為NeMoGuardrails，可以幫助軟件開發(fā)者給AI模型設置“護欄”，防止它們產(chǎn)生不良的輸出。
NeMoGuardrails是一個軟件層，位于用戶和AI模型之間，可以在模型輸出不良內(nèi)容之前進行攔截和修改。例如，如果開發(fā)者想要創(chuàng)建一個客服聊天機器人，可以使用NeMoGuardrails來限制它只能談論相關(guān)的產(chǎn)品，而不能談論競爭對手的產(chǎn)品或其他不相關(guān)的話題。如果用戶提出這樣的問題，機器人可以引導對話回到開發(fā)者希望的話題上。
英偉達還提供了另一個例子，一個用于回答內(nèi)部企業(yè)人力資源問題的聊天機器人。在這個例子中，英偉達能夠使用NeMoGuardrails來阻止基于ChatGPT的機器人回答關(guān)于公司財務狀況的問題或訪問其他員工的私人數(shù)據(jù)。
此外，該軟件還能夠利用一個AI模型來檢測另一個AI模型的“幻覺”，通過向第二個AI模型提問來核實第一個AI模型的答案。如果兩個模型給出不一致的答案，那么軟件就會返回“我不知道”的回答。
英偉達還表示，這個“護欄”軟件還有助于提高安全性，可以強制AI模型只與白名單列表中的第三方軟件進行交互。
NeMoGuardrails是開源的，并通過英偉達服務提供，可以用于商業(yè)應用，開發(fā)者將使用Golang編程語言來為AI模型編寫自定義規(guī)則。
據(jù)IT之家搜索了解，包括谷歌和微軟支持的OpenAI等其他AI公司，也使用了一種稱為強化學習的方法來防止LLM應用產(chǎn)生有害的輸出。這種方法使用人類測試者來創(chuàng)建關(guān)于哪些答案是可接受或不可接受的數(shù)據(jù)，然后使用這些數(shù)據(jù)來訓練AI模型。
英偉達正在將其注意力轉(zhuǎn)向AI領(lǐng)域，該公司目前占據(jù)了創(chuàng)建這項技術(shù)所需芯片的市場主導地位，其股價在2023年迄今為止上漲了85%，成為標準普爾500指數(shù)中漲幅最大的股票。
