红队在人工智能模型基础设施中保护的作用

最近，红队护我国Deepseek火爆全球，人工是智能中保作用继Chatgpt之后在人工智能领域掀起的一次新热浪  。国内外在宣传人工智能之利的模型过程中，也有很多人参与其害 。基础当然
 ，设施也涉及人工智能本身被攻击的红队护问题  ，IBM的人工专家就此方面做了探讨
。

人工智能 (AI) 现已成为信息安全的智能中保作用前线。然而，模型当技术创新步伐非常快时
，源码下载基础安全往往成为次要考虑因素 。设施这一点从许多实施的红队护临时性中越来越明显，组织缺乏明确的人工负责任的 AI 使用策略 。

攻击面的智能中保作用扩大不仅因为人工智能模型本身存在风险和漏洞
，还因为支持这些模型的底层基础设施存在风险和漏洞。许多基础模型以及用于训练它们的数据集都是开源的
，开发人员和攻击者都可以轻松获取 。

人工智能模型的免费模板独特风险

IBM CNE 能力开发主管 Ruben Boonen 表示：“一个问题是，这些模型托管在大型开源数据存储中 。你不知道是谁创建的，也不知道它们是如何被修改的 ，因此这里可能会出现许多问题。例如，假设你使用 PyTorch 加载托管在其中一个数据存储中的模型，但该模型已被以不受欢迎的方式更改。这可能很难判断
，模板下载因为该模型在 99% 的情况下可能表现正常。”

最近 ，研究人员在最大的开源生成式 AI模型和训练数据集存储库之一Hugging Face 上发现了数千个恶意文件。其中包括大约一百个能够将恶意代码注入用户机器的恶意模型。在一个案例中，黑客建立了一个伪装成基因检测初创公司 23AndMe 的虚假个人资料，诱骗用户下载一个能够窃取 AWS 密码的受感染模型。该模型被下载了数千次，最终被举报并删除。

在另一个近期案例中 ，红队研究人员发现了ChatGPT API 中的香港云服务器漏洞 ，其中一个 HTTP 请求引发了两个响应，表明存在异常代码路径 ，如果不加以解决，理论上可能会被利用。这反过来可能导致数据泄露 
、拒绝服务攻击甚至权限提升。该团队还发现了 ChatGPT 插件中的漏洞，可能导致帐户被接管 。

虽然开源许可和云计算是人工智能领域创新的关键驱动力，但它们也是风险的来源 。源码库除了这些特定于人工智能的风险领域之外，一般基础设施安全问题也适用，例如云配置中的漏洞或不良的监控和日志记录流程。

人工智能模型是知识产权盗窃的新前沿

想象一下 ，投入大量财力和人力资源来构建专有的 AI 模型 ，结果却被盗用或被逆向工程。不幸的是，模型盗窃问题日益严重
，亿华云尤其是因为 AI 模型通常包含敏感信息 ，如果落入不法之徒之手，可能会泄露组织的机密 。

最常见的模型窃取机制之一是模型提取，攻击者通过 API 漏洞访问和利用模型 。这可能会让他们获得黑盒模型（如 ChatGPT）的访问权限，然后他们可以策略性地查询模型以收集足够的数据来对其进行逆向工程 。

在大多数情况下，AI 系统运行在云架构上，而不是本地机器上
。毕竟
，云提供了轻松、便捷地运行 AI 模型所需的可扩展数据存储和处理能力 。然而 ，这种可访问性也增加了攻击面 ，使攻击者能够利用访问权限配置错误等漏洞
。

“当公司提供这些模型时，通常会有面向客户的应用程序向最终用户提供服务 ，例如 AI 聊天机器人
。如果有一个 API 告诉它要使用哪个模型  ，攻击者可能会尝试利用它来访问未发布的模型 ，”Boonen 说 
。

红队保障 AI 模型的安全

防止模型盗窃和逆向工程需要采取多管齐下的方法，结合传统安全措施（如安全容器化实践和访问控制）以及攻击性安全措施。

后者正是红队发挥作用的地方。红队可以主动解决人工智能模型盗窃的几个方面，例如：

API 攻击：通过以与对手相同的方式系统地查询黑盒模型，红队可以识别诸如次优速率限制或响应过滤不足等漏洞
。旁道攻击：红队还可以进行旁道分析，通过监视 CPU 和内存使用情况等指标
 ，试图收集有关模型大小、架构或参数的信息。容器和编排攻击 ：通过评估框架 、库、模型和应用程序等容器化的 AI 依赖项 ，红队可以识别编排漏洞，例如配置错误的权限和未经授权的容器访问。供应链攻击：红队可以探测跨越不同环境中托管的多个依赖关系的整个 AI 供应链，以确保仅使用插件和第三方集成等受信任的组件。

全面的红队策略可以模拟现实世界中针对人工智能基础设施的攻击的全部范围，以揭示可能导致模型盗窃的安全和事件响应计划中的漏洞 。

缓解人工智能系统中的过度代理问题

大多数人工智能系统在如何与不同系统交互以及响应提示方面都具有一定程度的自主性 。毕竟，这就是它们有用的原因 。然而，如果系统拥有过多的自主性、功能或权限（OWASP 称之为“过度代理”），它们最终可能会触发有害或不可预测的输出和流程，或留下安全漏洞  。

Boonen 警告说，多模式系统依赖于处理输入的组件，例如 PDF 文件和图像的光学字符识别 (OCR)，“如果没有得到适当的保护，可能会引入漏洞” 。

赋予 AI 系统过多的代理权也会不必要地扩大攻击面，从而为对手提供更多的潜在切入点。通常 ，为企业使用而设计的 AI 系统会集成到更广泛的环境中 ，涵盖多个基础设施 、插件
 、数据源和 API。当这些集成导致安全性和功能性之间出现不可接受的权衡时，就会发生过多的代理权 。

让我们考虑一个例子
，其中人工智能个人助理可以直接访问存储在 OneDrive for Business 中的个人 Microsoft Teams 会议记录，目的是以易于访问的书面格式总结这些会议的内容。但是，让我们想象一下，该插件不仅能够读取会议记录，还能读取用户 OneDrive 帐户中存储的所有其他内容，其中还存储了许多机密信息资产 。也许该插件甚至具有写入功能，在这种情况下，安全漏洞可能会为攻击者提供一条上传恶意内容的捷径。

再次强调
，红队测试可以帮助识别 AI 集成中的缺陷，尤其是在使用许多不同插件和 API 的环境中 。他们的模拟攻击和全面分析将能够识别访问权限中的漏洞和不一致之处，以及访问权限不必要地松懈的情况。即使他们没有发现任何安全漏洞 ，他们仍然能够提供有关如何减少攻击面的见解 。