英伟达发布 护栏 软件 让AI聊天机器人不再胡说八道

人工智能( AI)的发展步履不停,日新月异，但也存在一些难题，比如 AI 模型有时会出现“幻觉”，即说出错误的事实、涉及有害的话题或导致安全风险。为了解决这个问题，英伟达在周二发布了一款新的软件，名为 NeMo Guardrails，可以帮助软件开发者给 AI 模型设置“护栏”，防止它们产生不良的输出。

英伟达还提供了另一个例子，一个用于回答内部企业人力资源问题的聊天机器人。在这个例子中，英伟达能够使用 NeMo Guardrails 来阻止基于 ChatGPT 的机器人回答关于公司财务状况的问题或访问其他员工的私人数据。

NeMo Guardrails 是开源的，并通过英伟达服务提供，可以用于商业应用，一些开发者将使用 Colang 编程语言来为 人工智能AI 开发的模型集群编写不同的自定义实时操作系统规则。

据IT之家搜索了解，包括谷歌和微软支持的 OpenAI 等其他 AI 公司，也使用了一种称为强化学习的方法来防止 LLM 应用产生有害的输出。这种方法使用人类测试者来创建关于哪些答案是可接受或不可接受的数据，然后使用这些数据来训练 AI 模型。在某些情况下，这可能需要几个月的时间，因为人类测试者可能无法理解ai模型的结果。

（编辑：银川站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!