OWASP公布大型语言模型漏洞威胁Top10

目前，许多全球性公司都在积极探索基于大型语言模型（LLM）的生成式人工智能技术的运用。作为一种创新技术，企业组织在未来数字化发展中有很多机会应用ChatGPT或类似AI工具。

1、提示注入(LLM01:2023)

提示注入是指通过精心制作的提示绕过内容监管过滤，使其忽略先前的指令或执行非法的操作。这类漏洞可能导致意想不到的后果，包括数据泄露、未经授权的访问或其他安全隐患。常见的提示注入漏洞包括：通过使用特定的语言模式或token绕过过滤器或限制，利用LLM的文本分词或编码机制中的弱点，以及通过提供一个欺骗性存储上下文以便误导LLM处理器执行可能会意外失败的操作。

2、数据泄露(LLM02:2023)

当LLM通过其响应意外泄露敏感信息、专有算法或其他机密资料时，就会发生数据泄漏。这可能导致未经授权访问敏感数据、侵犯个人隐私及其他安全隐患。

常见的数据泄露漏洞包括：对LLM响应中的敏感信息过滤不完整或不恰当，记忆LLM训练过程中的敏感数据，以及因LLM算法错误而导致机密信息的意外泄露。攻击者可以通过精心设计的提示来故意探测LLM，试图提取LLM凭训练数据所记忆的敏感信息，或者合法用户无意中向LLM提出的包含机密信息的提问。

3、不充分的沙箱机制(LLM03:2023)

如果LLM在访问外部资源或敏感系统时未加适当隔离，不充分的沙箱机制就会导致潜在的漏洞、未经授权的访问或LLM违规操作。和不充分的沙箱机制相关的常见漏洞包括：LLM环境与其他关键系统的数据存储区隔离不足，不充分的限制任由LLM访问敏感资源，以及LLM执行系统级操作/与其他进程交互。我们的研究表明，在大多数情况下，我们可以通过一个简单的方法来解决这些问题。

（编辑：银川站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!