保障生成式 AI：应用相关安全控制 安全博客

确保生成式 AI 的安全性：应用相关安全控制

文章重点

本篇文章为确保生成式 AI 系列文章的第三部分，聚焦于应用安全控制的实施考量。在进行安全控制时，首先需了解应用的范围，并针对该范围制定相关控制措施。此外，文中提供了对于各种范畴的生成式 AI 应用的具体安全建议及控制措施，并举例说明如何链接到 MITRE ATLAS 的缓解措施。这些控制措施的实施不仅能够加强安全性，还能促进资料隐私与合规性。

这篇文章是关于确保生成式 AI 的安全性系列文章的第三部分，我们建议从概述文章确保生成式 AI：生成式 AI 安全范围矩阵介绍 开始阅读。这篇文章介绍了本篇文章中详细说明的范围矩阵。本文讨论了在实施安全控制以保护生成式 AI 应用时需要考虑的事项。

确保应用程序安全的第一步是了解应用的范围。系列文章中的第一篇 介绍了 生成式 AI 范围矩阵，该矩阵将应用程序分类为五个范围。确定应用的范围后，就可以集中精力针对该范围适用的控制措施进行实施，如图 1 所示。本文后续部分详细阐述了这些控制措施及其实施考量。适用的话，我们将控制措施映射到 MITRE ATLAS 知识库中列出的缓解措施，这些措施的 ID 为 AMLMxxxx。我们选择 MITRE ATLAS 作为例子，并非作为指导性建议，而是因为它在各行各业、地区及商业用例中具有广泛的应用性。其他最近发布的行业资源，包括OWASP AI 安全和隐私指导和 NIST 发布的人工智能风险管理框架 (AI RMF 10)，也是极好的参考资料，并在本系列的其他帖子中涉及威胁和漏洞以及治理、风险和合规性 (GRC) 的相关问题。

范围 1：消费者应用

在此范围中，您的员工使用的通常是通过公共互联网提供的面向消费者的应用程序。例如，一名员工使用聊天机器人应用来总结一篇研究文章以识别关键主题，或者一名承包商使用图像生成应用来创建培训活动的自订标志，亦或有员工与生成式 AI 聊天应用互动以产生即将举行的营销活动的想法。范围 1 与范围 2 之间的重要区别在于，在范围 1 中，企业与应用提供商之间没有协议。您的员工是以与任何个别消费者相同的条款和条件来使用该应用。此特征独立于该应用是付费服务还是免费服务。

一般范围 1和范围 2消费者应用的数据流图如图 2 所示。颜色编码表示谁控制图中元素：应用提供商及基础模型 (FM) 控制的元素显示为黄色，而用户或应用的客户所控制的元素则显示为紫色。随著我们逐一考虑每个范围，您将看到这些颜色有所变化。在范围 1 和 2 中，客户控制自己的数据，而其余的范围AI 应用程序、微调和训练数据、预训练模型以及微调模型则由提供商控制。

数据流经以下步骤：

应用程序从用户那里接收提示。应用程序可能选择性地使用插件从自定义数据源查询数据。应用程序将用户的提示和任何自定义数据格式化为对 FM 的提示。提示由 FM 进行完成，FM 可能是经过微调或预训练的。完成后由应用程序进行处理。最终回应发送给用户。

与任何应用程序一样，组织的政策和对这些应用程序的适用法律法规将驱动您所需实施的控制措施。例如，您的组织可能允许员工使用此类消费者应用，只要他们不向应用发送任何敏感、机密或未公开的信息。或者，您的组织可能选择完全禁止使用此类消费者应用。

遵循这些政策的技术控制与适用于您员工的其他应用相似，可以在以下两个位置实施：

基于网络的控制：您可以通过使用 Web 代理、出口防火墙如 AWS Network Firewall、资料丢失防护DLP解决方案和云访问安全代理CASB控制从企业网络到公共互联网的流量，以检查和阻止流量。尽管基于网络的控制可以帮助检测和防止未经授权使用消费者应用，包括生成式 AI 应用，但这并不能做到万无一失。用户可以通过使用外部网络如家庭或公共 WiFi 网络来绕过基于网络的控制，因为您无法控制出口流量。基于主机的控制：您可以在端点员工使用的笔记本电脑和台式机上部署代理，例如端点检测和响应EDR，并应用策略以阻止访问某些 URL，并检查前往互联网站点的流量。同样，用户可以通过将数据移动到未管理的端点来绕过基于主机的控制。

您的政策可能要求对此类应用请求采取两类行动：

flyingbird飞鸟机场根据消费者应用的域名完全阻止请求。检查发送到应用的请求内容，并阻止包含敏感数据的请求。尽管这样的控制可以检测到如员工无意中将客户的个人信息粘贴到聊天机器人中的数据泄露，但对于那些使用方法加密或混淆发送到消费者应用的数据的决心强烈的恶意行为者，这样的控制可能效果不佳。

除了技术控制外，您还应该对用户进行有关生成式 AI 所特有的威胁MITRE ATLAS 缓解措施 AMLM0018的培训，加强现有的数据分类和处理政策，并强调用户仅向经过批准的应用和地点发送数据的责任。

范围 2：企业应用

在这个范围中，您的组织已经在组织层级获得对生成式 AI 应用的访问权。通常，这涉及到与您的组织独特的定价和合同，而非标准的零售消费者条款。一些生成式 AI 应用仅面向组织提供，而不提供给个别消费者；即它们不提供范围 1 的服务。范围 2 的数据流图与范围 1 相同，如图 2 所示。范围 1 中详细介绍的所有技术控制也适用于范围 2 的应用。消费者应用程序范围 1和企业应用程序范围 2之间的重大区别在于，在范围 2 中，您的组织与应用提供商之间有一份企业协议，该协议定义了使用该应用程序的条款和条件。

在某些情况下，您的组织已经使用的企业应用程序可能会引入新的生成式 AI 功能。如果发生这种情况，您应检查现有企业协议的条款是否适用于生成式 AI 功能，或者是否有针对新生成式 AI 功能的附加条款和条件。特别是，您应重点关注与数据使用相关的协议条款。您应向提供商提出问题：

我所提供的数据是否会用于训练或改善生成式 AI 功能或模型？我可以选择不让我的数据用于训练或改善服务吗？我的数据是否会与任何第三方如应用提供商用来实现生成式 AI 功能的其他模型提供商共享？谁拥有输入数据和应用生成的输出数据的知识产权？提供商是否会为针对我组织的索赔提供保障，声称企业应用程序产生的生成式 AI 输出侵犯了第三方的知识产权？

作为企业应用程序的消费者，您的组织无法直接实施控制措施来减轻这些风险。您依赖于提供商实施的控制。您应调查以了解他们的控制措施，再查看设计文档，并要求独立第三方审计员提供报告来评估提供商控制的有效性。

您可能选择针对您的员工如何使用企业应用程序应用控制措施。例如，您可以实施 DLP 解决方案来检测和防止上传高度敏感的数据到应用程序，如果这违反了您的政策。您编写的 DLP 规则可能与范围 2 应用程序不同，因为您的组织明确批准了使用它。您可能允许某些类型的数据，同时仅防止最敏感的数据。或者，您的组织可能批准将所有分类的数据用于该应用程序。

除了范围 1 控制外，企业应用程序还可能提供内置访问控制。例如，想像一个客户关系管理 (CRM) 应用程序，具有生成式 AI 功能，比如使用客户信息生成电子邮件营销活动的文本。该应用程序可能具有基于角色的访问控制 (RBAC)，用于控制谁可以查看特定客户记录的详细信息。例如，拥有客户经理角色的人可以查看他们所服务的所有客户的详细信息，而区域经理角色则可以查看他们所管理区域的所有客户的详细信息。在这个例子中，客户经理可以生成包含他们客户详细信息的电子邮件营销活动消息，但无法生成他们不服务的客户的详细信息。这些 RBAC 功能由企业应用程序本身实施，而不是由应用程序使用的基础 FM 实施。作为企业应用程序的用户，定义和配置角色、权限、数据分类和数据隔离策略的责任仍然在您。

范围 3：预训练模型

在范围 3 中，您的组织使用预训练的基础模型例如在 Amazon Bedrock 中提供的模型来构建生成式 AI 应用程序。一般范围 3 应用的数据流图如图 3 所示。与范围 1 和 2 的变化在于，作为客户，您控制应用程序及其使用的客户数据，而提供商则控制预训练模型及其训练数据。

范围 3 AI 应用程序遵循标准应用安全最佳实践，就像它们适用于其他应用程序一样。身份和访问控制始终是第一步。自定义应用程序的身份是一个大型主题，在其他参考资料中有详细说明。我们建议对您的应用实施强身份控制，使用开放标准如 OpenID Connect 和 OAuth 2，并考虑对用户强制执行多因素身份验证 (MFA)。在实施身份验证后，您可以根据用户的角色或属性在应用中实施访问控制。

我们描述了如何控制在模型中的数据访问，但请记住，如果您对 FM 操作某些数据元素没有用例，则在检索阶段排除这些元素会更安全。如果用户设计提示使 FM 忽略您的指示并响应整个上下文，则 AI 应用程序可能会不经意地向用户透露敏感信息。FM 无法在未指定的信息上运行。

生成式 AI 应用程序的一个常见设计模式是检索增强生成RAG，该应用程序使用用户的文本提示从知识库例如向量数据库查询相关信息。在使用此模式时，请检查应用程序是否将用户的身份传播到知识库，并确保知识库执行您的基于角色或属性的访问控制。知识库应仅返回用户被授权访问的数据和文档。例如，如果您选择Amazon OpenSearch Service作为您的知识库，您可以启用精细粒度访问控制，以限制在 RAG 模式中从 OpenSearch 检索的数据。根据请求者，您可能想要限制搜索结果仅返回来自一个索引的结果。您可能想隐藏某些文档中的特定字段，或完全排除某些文档。例如，想像一个 RAG 风格的客户服务聊天机器人，从数据库检索有关客户的信息，并将其作为上下文提供给 FM，以回答有关客户账户的问题。假设该信息包含客户不应该查看的敏感字段，例如内部欺诈评分。您可能会试图通过设计提示来保护这些信息，指示模型不显示该信息。然而，最安全的方法是不要在提示中提供任何用户不应该看到的信息。在检索阶段对这些信息进行编辑，并在