OWASP 大型语言模型（LLM）应用的十大安全风险

开放 Web 应用程序安全项目（OWASP） 是一个致力于提高软件安全性的非营利组织。OWASP成立于2001年，提供各种资源，包括文档，工具和方法，旨在识别和缓解Web应用程序中的安全漏洞以及现在的LLM安全风险。

其最著名的贡献之一是OWASP Top 10列表，该列表根据来自不同组织和安全专家的数据概述了最关键的Web应用程序安全风险。此列表被广泛用作 Web 安全最佳实践的参考点。

OWASP 的资源通常被认为是 Web 应用程序安全的行业标准，世界各地的组织都使用它来增强其安全态势。该组织鼓励社区参与，其资源是免费提供的，旨在让尽可能多的人能够获得网络安全知识。

打开 Web 应用程序安全项目

由生成式人工智能和大型语言模型驱动的聊天机器人的兴起简直是飞速发展。在短短两个月的时间里，这些人工智能助手已经获得了100亿的用户群。促成其受欢迎的关键功能之一是语言翻译。通过利用大型语言模型，聊天机器人可以提供更直观和上下文准确的翻译，从而增强用户体验。

然而，与任何新技术一样，聊天机器人也不能幸免于滥用。与其滥用相关的潜在风险促使OWASP为大型语言模型创建了十大应用程序安全漏洞列表。此列表可作为开发人员和用户的指南，突出显示潜在的陷阱并提供缓解它们的策略。

法学硕士安全风险

OWASP在确保大型语言模型（LLM）应用程序的安全性方面迈出了重要的一步。他们最近发布了专门为这些应用程序量身定制的 10 大安全漏洞列表。此列表在IBM精心制作的视频中进行了解释，旨在教育用户有关潜在风险的信息，并提供有效应对这些风险的策略。

漏洞列表的顶部是及时注入。这可以通过两种方式发生：直接和间接。在直接提示注入中，恶意参与者向大型语言模型发送命令，从而操纵系统以使其受益。另一方面，间接提示注入涉及将有害内容插入聊天机器人随后处理的网页中。为了解决这个问题，OWASP 建议实施权限控制，让一个人参与循环，并将内容与提示隔离。详细了解每个漏洞以及如何应对这些漏洞。

OWASP 发现的第二个漏洞是不安全的输出处理。当利用大型语言模型的应用程序无法检查模型的输出时，会发生这种情况，从而导致潜在问题。为了防止这种情况，OWASP 建议将大型语言模型视为不受信任的用户，并验证输入和输出。

第三个漏洞与用于大型语言模型的训练数据有关。如果数据不可信或不准确，则可能导致不正确的结果。为了降低这种风险，OWASP 建议了解并验证您的来源，不断检查模型并整理数据。