DeepMind advierte: seis tipos de ciberataques pueden secuestrar agentes de IA; las empresas deben reforzar la protección

Noticias de Gate: el equipo de investigadores de Google DeepMind advierte que un entorno abierto de Internet podría aprovecharse para secuestrar agentes de inteligencia artificial autónomos y manipular su comportamiento. El informe, titulado 《La trampa de los agentes de IA》, señala que, cuando las empresas despliegan agentes de IA para ejecutar tareas reales, los atacantes también podrían realizar ataques dirigidos a través de la red. La investigación identifica seis riesgos principales, entre ellos trampas de inyección de contenido, trampas de manipulación semántica, trampas del estado cognitivo, trampas de control del comportamiento, trampas del sistema y trampas de interacción hombre-máquina.

La trampa de inyección de contenido es la más directa: el atacante puede colocar instrucciones en comentarios HTML, metadatos o elementos ocultos de una página; el agente las lee y, entonces, puede ejecutarlas. La trampa de manipulación semántica, en cambio, afecta de manera silenciosa la comprensión que el agente tiene de la tarea al cargar formulaciones autorizadas o al hacerse pasar por páginas que imitan un entorno de investigación, y a veces incluso elude los mecanismos de seguridad. La trampa del estado cognitivo consiste en implantarle fuentes de información al agente con datos falsos para que, durante mucho tiempo, crea erróneamente que esa información ya ha sido validada. La trampa de control del comportamiento se centra en las operaciones reales del agente: puede inducirlo a acceder a datos sensibles y a transmitirlos a un objetivo externo.

La trampa del sistema implica una manipulación coordinada entre múltiples sistemas de IA, lo que puede desencadenar reacciones en cadena, de forma similar a cómo los algoritmos de trading provocan un desplome repentino del mercado. La trampa de interacción hombre-máquina aprovecha el proceso de revisión humana: al elaborar contenidos de revisión que parecen creíbles, las conductas dañinas pueden eludir la regulación.

Para hacer frente a los riesgos, DeepMind recomienda combinar entrenamiento adversarial, filtrado de entrada, monitorización del comportamiento y un sistema de reputación del contenido de red, además de establecer un marco de responsabilidad legal más claro. Sin embargo, la investigación señala que en la industria todavía no existen estándares de defensa unificados; las medidas actuales están dispersas y se centran de manera desigual. La investigación hace un llamamiento a que desarrolladores y empresas presten atención a la seguridad del entorno operativo de los agentes de IA y prevengan los posibles riesgos de manipulación en red y de abuso.