黑客警告：全新零点击威胁瞄准GenAI应用程序

根据三位安全研究人员的黑客说法，两种新的警告击威威胁模式可以将GenAI模型的行为从为GenAI应用服务转变为攻击它们。

虽然不像《终结者》电影系列中的全新虚构场景Skynet那么危险 ，但研究人员展示的零点PromptWare和Advanced PromptWare攻击确实展示了“被越狱的AI系统可能造成的重大危害”。从迫使应用程序进行拒绝服务攻击到利用应用程序AI更改电子商务数据库中的胁瞄价格 
，这些威胁不仅非常真实，应用而且很可能会被恶意行为者利用，程序除非人们更加重视越狱GenAI模型的黑客潜在危害。服务器租用

介绍PromptWare GenAI威胁

虽然被越狱的警告击威GenAI模型本身可能不会对会话AI的用户构成重大威胁，但它可以对由GenAI驱动的全新应用程序造成重大损害。根据以色列理工学院、零点康奈尔科技和Intuit的胁瞄研究合作发表的一项名为“被越狱的GenAI模型可能造成重大损害：由GenAI驱动的应用程序容易受到PromptWares攻击”的研究 ，新威胁可以迫使这些应用程序执行恶意活动，应用而不仅仅是程序提供错误信息和返回攻击性内容  。

研究人员Stav Cohen(以色列理工学院博士生)、云计算黑客Ron Bitton(Intuit首席AI安全研究员)和Ben Nassi(BlackHat董事会成员)表示，他们发布这项研究是为了帮助“改变对越狱的看法”，并展示“被越狱的GenAI模型可能对GenAI驱动的应用程序造成的实际危害”
。

可以理解，为什么许多安全专业人士不认真对待这些对GenAI的威胁。使用提示让聊天机器人侮辱用户并不是世纪罪行 。被越狱的聊天机器人可能提供的任何信息都会在网上或暗网上找到 。亿华云那么，为什么应该认为这种越狱威胁是危险的呢?研究人员解释说，“因为GenAI引擎的输出用于决定GenAI驱动的应用程序的流程”，这意味着被越狱的GenAI模型“可以改变应用程序的执行流程并触发恶意活动”。

什么是PromptWare?

研究人员将PromptWare称为零点击恶意软件攻击，因为它不需要威胁行为者在执行攻击之前已经入侵GenAI应用程序
。

可以将PromptWares视为由用户输入的包含越狱命令的免费模板命令，这些命令迫使GenAI引擎本身遵循攻击者发布的命令 ，并生成额外的命令以触发恶意活动
。

通过迫使GenAI返回所需的输出 ，在应用程序上下文中协调恶意活动，从而实现恶意活动。在GenAI驱动的应用程序的背景下 ，被越狱的引擎被转向应用程序本身，允许攻击者决定执行流程。结果将取决于应用程序本身的香港云服务器权限 、上下文
、实施和架构。

虽然GenAI引擎确实有防护措施和安全保障，如输入和输出过滤
 ，旨在防止此类模型的滥用 ，但研究人员发现了多种技术，可以让越狱仍然成功。

为了展示攻击者如何利用对GenAI应用程序逻辑的了解 ，通过特定的用户输入强制实现恶意结果 ，研究人员揭示了PromptWare如何用于对基于计划和执行的应用程序执行拒绝服务(DoS)攻击。他们写道：“我们展示了攻击者可以向GenAI驱动的建站模板应用程序提供简单的用户输入，迫使应用程序执行进入无限循环，从而触发对GenAI引擎的无限API调用(浪费诸如不必要API调用和计算资源等资源)，并阻止应用程序达到最终状态 。”

执行这种DoS攻击的步骤如下 ：

1. 攻击者通过GenAI助手向用户发送电子邮件。

2. GenAI应用程序通过查询GenAI引擎以获取计划，并将其作为草稿回复 。

3. 应用程序通过查询用户的日历API执行找到合适时间安排请求会议的任务。

4. 应用程序使用GenAI引擎执行任务 。

5. 应用程序执行EmailChecker任务并确定其不安全 。

6. 应用程序执行重新措辞任务。

7. 应用程序再次执行EmailChecker任务并确定其不安全。

8. 这样就创建了一个无限循环 ，从而执行了DoS攻击。

什么是高级PromptWare威胁(Advanced PromptWare Threat)?

研究人员称，更复杂的基本PromptWare攻击版本为高级PromptWare威胁(APwT) 。即使目标GenAI应用程序的逻辑对威胁行为者未知，APwT攻击也可以使用。研究人员展示了攻击者如何使用一个对抗性的自我复制提示
，基于实时过程自动确定和执行恶意活动，以理解应用程序本身的上下文
、涉及的资产和可能造成的损害。

本质上，APwT攻击使用GenAI引擎自身的能力，通过六步过程在“推理时间”内发起杀链：

1. 特权升级：自我复制提示越狱GenAI引擎，以确保GenAI引擎的推理绕过GenAI引擎的防护措施
。

2. 侦察A ：自我复制提示查询GenAI引擎关于应用程序的上下文。

3. 侦察B
：自我复制提示查询GenAI引擎关于应用程序资产的信息 。

4. 推理损害：自我复制提示指示GenAI引擎使用侦察中获得的信息推理可能造成的损害 。

5. 决定损害 ：自我复制提示指示GenAI引擎使用信息从不同的替代方案中决定恶意活动 。

6. 执行 ：自我复制提示指示GenAI执行恶意活动 。

研究人员展示的示例显示，攻击者无需了解GenAI引擎逻辑即可发起一个杀链 ，从而触发SQL表的修改，可能改变用户通过GenAI驱动的购物应用程序购买商品的价格。

AI开发者和安全专家对PromptWare研究的回应

我联系了Google和OpenAI，要求他们对PromptWare研究发表声明 。Google在发布前没有回应 ，然而，OpenAI的一位发言人表示：“我们一直在改进内置于我们模型中的防护措施，以抵御像越狱这样的对抗性攻击。我们感谢研究人员分享他们的发现 ，并将继续根据反馈定期更新我们的模型。我们仍然致力于确保人们能够从安全的AI中受益 。”

Checkmarx的安全研究主管Erez Yalon说：“大型语言模型和GenAI助手是现代软件供应链中的最新组成部分
，像开源包
、容器和其他组件一样，我们需要以谨慎的态度对待它们 。我们看到越来越多的恶意行为者试图通过不同的组件(包括有偏见的 、感染的和中毒的LLM)来攻击软件供应链 。如果越狱的GenAI实现可以成为攻击向量 ，毫无疑问 ，它将成为许多攻击者武器库的一部分 。”