Tracebit 研究人员开发了针对 AI 黑客代理的上下文轰炸防御方案
Tracebit 的研究人员周一宣布了一种名为“上下文轰炸”的防御性网络安全技术,该技术利用提示注入来保护 AI 黑客代理。该技术会将恶意指令与存储在 AWS 上的密码和加密密钥一起植入,以触发大型语言模型中的拒绝机制,使其停止运行。提示注入此前通常被攻击者用来诱导 LLM 泄露敏感数据,如今正被防御者重新用作一种保护措施。 上下文轰炸触发 LLM 拒绝机制 上下文轰炸技术会在存放于 AWS 环境中的密钥旁植入提示注入。这些提示会指示遭到攻击的 LLM 执行其防护栏所禁止的操作。防护栏是 AI 开发者为阻止有害行为而设立的安全屏障。示例包括:提示 LLM 提供用于培育可吸入炭疽芽孢的步骤,或让来自中国开发者的 LLM 参照 1989 年天安门广场大屠杀中的“坦克人”。当 LLM 遇到这些被禁止的指令时,它们会停止遵循原有指令并直接关闭。 “最终,我们是在上下文中触发拒绝机制,”Tracebit 联合创始人兼 CEO 安迪·史密斯在解释这一名称选择时说。“我们想要捕捉的是,这确实会产生强烈、尖锐的效果,而且可能会让代理很难重新回来。一旦他们把这种内容纳入自己的上下文,他们就会继续拒绝。”
Crypto Frontier·11小时前
