NeMo Guardrails 幫助企業(yè)確保建立在大型語言模型上的應用符合其功能安全和信息安全要求。

全新發(fā)布的開源軟件能夠幫助開發(fā)者指導生成式 AI 應用生成令人印象深刻的文本響應，并保持在正軌上。

NeMo Guardrails有助于確保大型語言模型（LLM）驅動的智能應用準確、恰當、符合主題且安全。該軟件包含了企業(yè)為提高可以生成文本的 AI 應用程序的安全性所需的所有代碼、示例和文檔。

LLM 正在被用于回答客戶的問題、總結冗長的文件，甚至編寫軟件和加速藥物研發(fā)。作為這些 AI 應用背后的強大引擎，LLM 正在被越來越多的行業(yè)所采用，此次發(fā)布恰逢其時。

NeMo Guardrails 專為幫助用戶保證這類新型 AI 賦能的應用的安全性而開發(fā)。

強大的模型，強大的護欄

生成式 AI 的安全性是人們普遍關心的問題。NVIDIA 設計 NeMo Guardrails 是為了讓它適用于所有 LLM，例如 OpenAI 的 ChatGPT。

該軟件可以讓開發(fā)者調整 LLM 驅動的應用，以確保模型的安全性并在公司的專業(yè)領域內(nèi)。

NeMo Guardrails 使開發(fā)者能夠構建三種邊界：

主題護欄防止應用偏離進非目標領域，例如防止客服助理回答關于天氣的問題。

功能安全護欄確保應用能夠以準確、恰當?shù)男畔⒆鞒龌貜汀Ｋ鼈兡苓^濾掉不希望使用的語言，并強制要求模型只引用可靠的來源。

信息安全護欄限制應用只與已確認安全的外部第三方應用建立連接。

幾乎每個軟件開發(fā)人員都可以使用 NeMo Guardrails，他們不需要成為機器學習專家或數(shù)據(jù)科學家，只需幾行代碼就可以快速創(chuàng)建新的規(guī)則。

與熟悉的工具集成

NeMo Guardrails 是開源的，因此它可以與企業(yè)應用開發(fā)人員使用的所有工具搭配使用。

例如，它可以在 LangChain 上運行。LangChain 是一個開源工具包，越來越多的開發(fā)者用它來將第三方應用嵌入到 LLM 中。

LangChain 工具包的創(chuàng)建者 Harrison Chase 表示：“用戶可以輕松地將 NeMo Guardrails 添加到 LangChain 工作流程中，以快速為其 AI 應用設置安全邊界。”

此外，NeMo Guardrails 專為適用于廣泛的基于 LLM 的應用而設計，例如 Zapier。Zapier 是一個被超過 200 萬家企業(yè)使用的自動化平臺，它見證了用戶如何將 AI 集成到他們的工作中。

Zapier 的 AI 首席產(chǎn)品經(jīng)理 Reid Robinson 表示：“功能安全，信息安全和信任是負責任的 AI 開發(fā)的基石，我們對 NVIDIA 主動將這些護欄嵌入 AI 智能系統(tǒng)感到興奮”

“我們期待著讓 AI 成為未來可靠并值得信賴的一部分所帶來的益處。”

由 NVIDIA 提供，現(xiàn)已開源可用

NVIDIA 正在將 NeMo Guardrails 整合到 NVIDIA NeMo 框架中，該框架包含用戶使用公司的專有數(shù)據(jù)來訓練和調整語言模型所需的一切。

NeMo 框架的大部分內(nèi)容已在 GitHub 上作為開放源碼提供。作為 NVIDIA AI Enterprise 軟件平臺的一部分，它還可以以完整的支持包的形式提供給企業(yè)。

NeMo 還可作為一項服務使用。作為 NVIDIA AI Foundations 的一部分，這套云服務面向希望基于自己的數(shù)據(jù)集和領域知識創(chuàng)建、運行自定義生成式 AI 模型的企業(yè)。

通過使用 NeMo，韓國領先的移動運營商構建了一個智能助手，該助手目前已經(jīng)與客戶進行了 800 萬次對話；瑞典的一個研究團隊使用 NeMo 創(chuàng)建了 LLM，為該國醫(yī)院、政府和商業(yè)機構自動生成文本。

需要整個社區(qū)的長期共同努力

為生成式 AI 構建有效的護欄是一項難題，隨著 AI 的發(fā)展將需要大量持續(xù)的研究。

NVIDIA 將其多年研究成果——NeMo Guardrails 開源，為釋放開發(fā)者社區(qū)的巨大能量及推動 AI 安全工作作出了貢獻。

NVIDIA 在護欄方面的努力將幫助企業(yè)確保他們的智能服務滿足功能安全、隱私和信息安全的要求，從而使這些創(chuàng)新引擎保持在正軌上。

審核編輯：湯梓紅