将AI保持在正轨：NVIDIA开源软件帮助开发者为AI聊天机器人添加护栏|天天日报

全新发布的开源软件能够帮助开发者指导生成式AI应用生成令人印象深刻的文本响应，并保持在正轨上。

NeMo Guardrails有助于确保大型语言模型（LLM）驱动的智能应用准确、恰当、符合主题且安全。该软件包含了企业为提高可以生成文本的AI应用程序的安全性所需的所有代码、示例和文档。

(相关资料图)

LLM正在被用于回答客户的问题、总结冗长的文件，甚至编写软件和加速药物研发。作为这些AI应用背后的强大引擎，LLM正在被越来越多的行业所采用，此次发布恰逢其时。

NeMo Guardrails专为帮助用户保证这类新型AI赋能的应用的安全性而开发。

NeMo Guardrails帮助企业确保建立在大型语言模型上的应用符合其功能安全和信息安全要求

强大的模型，强大的护栏

生成式AI的安全性是人们普遍关心的问题。NVIDIA设计NeMo Guardrails是为了让它适用于所有LLM，例如OpenAI的ChatGPT。

该软件可以让开发者调整LLM驱动的应用，以确保模型的安全性并在公司的专业领域内。

NeMo Guardrails使开发者能够构建三种边界：

· 主题护栏防止应用偏离进非目标领域，例如防止客服助理回答关于天气的问题。

· 功能安全护栏确保应用能够以准确、恰当的信息作出回复。它们能过滤掉不希望使用的语言，并强制要求模型只引用可靠的来源。

· 信息安全护栏限制应用只与已确认安全的外部第三方应用建立连接。

几乎每个软件开发人员都可以使用NeMo Guardrails，他们不需要成为机器学习专家或数据科学家，只需几行代码就可以快速创建新的规则。

与熟悉的工具集成

NeMo Guardrails是开源的，因此它可以与企业应用开发人员使用的所有工具搭配使用。

例如，它可以在LangChain上运行。LangChain是一个开源工具包，越来越多的开发者用它来将第三方应用嵌入到LLM中。

LangChain工具包的创建者Harrison Chase表示：“用户可以轻松地将NeMo Guardrails添加到LangChain工作流程中，以快速为其AI应用设置安全边界。”

此外，NeMo Guardrails专为适用于广泛的基于LLM的应用而设计，例如Zapier。Zapier是一个被超过200万家企业使用的自动化平台，它见证了用户如何将AI集成到他们的工作中。

Zapier的AI首席产品经理Reid Robinson表示：“功能安全，信息安全和信任是负责任的AI开发的基石，我们对NVIDIA主动将这些护栏嵌入AI智能系统感到兴奋。”

“我们期待着让AI成为未来可靠并值得信赖的一部分所带来的益处。”

由NVIDIA提供，现已开源可用

NVIDIA正在将NeMo Guardrails整合到NVIDIA NeMo框架中，该框架包含用户使用公司的专有数据来训练和调整语言模型所需的一切。

NeMo框架的大部分内容已在GitHub上作为开放源码提供。作为NVIDIA AI Enterprise软件平台的一部分，它还可以以完整的支持包的形式提供给企业。

NeMo还可作为一项服务使用。作为NVIDIA AI Foundations的一部分，这套云服务面向希望基于自己的数据集和领域知识创建、运行自定义生成式AI模型的企业。

通过使用NeMo，韩国领先的移动运营商构建了一个智能助手，该助手目前已经与客户进行了800万次对话；瑞典的一个研究团队使用NeMo创建了LLM，为该国医院、政府和商业机构自动生成文本。

需要整个社区的长期共同努力

为生成式AI构建有效的护栏是一项难题，随着AI的发展将需要大量持续的研究。

NVIDIA将其多年研究成果——NeMo Guardrails开源，为释放开发者社区的巨大能量及推动AI安全工作作出了贡献。

NVIDIA在护栏方面的努力将帮助企业确保他们的智能服务满足功能安全、隐私和信息安全的要求，从而使这些创新引擎保持在正轨上。