OpenAI presenta GPT-Red para reforzar GPT-5.6 contra la inyección de prompts

OpenAI presentó GPT-Red, un sistema automático de IA diseñado para identificar vulnerabilidades de seguridad en modelos de lenguaje, y anunció el miércoles que la herramienta ayudó a reforzar a GPT-5.6 contra ataques de prompt injection antes del despliegue. El sistema se desarrolló para abordar el cuello de botella del escalado en el red-teaming de seguridad de la IA a medida que crecen las capacidades de los modelos. GPT-Red representa el esfuerzo de OpenAI por automatizar las pruebas de seguridad que complementan su Red de Red Teaming de OpenAI existente, lanzada en 2023, la cual utiliza modelos de IA para generar ataques adversarios a una escala difícil de lograr solo para investigadores humanos.

GPT-Red toma su nombre del red teaming de ciberseguridad: la práctica de intentar deliberadamente romper un sistema para identificar debilidades antes de que los atacantes puedan explotarlas. La compañía afirmó que los ataques descubiertos por GPT-Red se incorporaron al proceso de entrenamiento de GPT-5.6. OpenAI escribió en X que el red-teaming es esencial, pero los enfoques actuales son difíciles de escalar, creando un cuello de botella crítico que GPT-Red aborda.

GPT-Red logra una tasa de éxito del 84% en evaluaciones internas

OpenAI informó que GPT-Red tuvo éxito en el 84% de los escenarios de evaluación interna, frente al 13% de los red teamers humanos en las mismas pruebas. El sistema redujo los fallos en uno de los puntos de referencia de prompt injection más difíciles de OpenAI durante el entrenamiento de GPT-5.6. Según OpenAI, GPT-Red aprende mediante autojuego adversario (adversarial self-play), en el que su objetivo es hacer prompt inject a una variedad de modelos defensores desafiantes, y cada ataque exitoso se usa para mejorar esos defensores.

El aprendizaje por refuerzo con autojuego impulsa el entrenamiento de GPT-Red

GPT-Red se entrenó mediante aprendizaje por refuerzo con autojuego, generando ataques de prompt injection progresivamente más fuertes mientras los modelos defensores aprendían a resistirlos. OpenAI afirmó que este enfoque impulsa a GPT-Red a encontrar continuamente fallos más amplios y complejos. La compañía describió el proceso como un volante (flywheel) para la seguridad, en el que los modelos de hoy pueden usarse para que los modelos de mañana sean más robustos, estén mejor alineados y sean más confiables.

La manipulación de un agente de máquina expendedora demuestra las capacidades de GPT-Red

En un caso de estudio, OpenAI dijo que el sistema manipuló a un agente autónomo de máquina expendedora para bajar precios, pedir inventario con descuento y cancelar el pedido de otro cliente antes de que las vulnerabilidades fueran divulgadas y abordadas. Este caso de estudio ilustra los tipos de riesgos de seguridad del mundo real para los que GPT-Red está diseñado para identificar antes del despliegue del modelo.

IA asegurada por IA refleja un cambio más amplio en la industria

El anuncio de OpenAI refleja un cambio más amplio hacia el uso de IA para asegurar sistemas de IA. A principios de este mes, la Ethereum Foundation dijo que había desplegado agentes de IA para red-teamear infraestructura de red crítica y que descubrieron una vulnerabilidad en el software utilizado por los clientes de Ethereum para el consenso. Los investigadores dijeron que los agentes de IA pueden buscar bases de código más grandes que los humanos, pero el reto pasó de identificar fallos potenciales a demostrar cuáles son explotables.

OpenAI indicó que GPT-Red seguirá siendo una herramienta interna porque contiene capacidades ofensivas desarrolladas intencionalmente. El sistema está pensado para complementar a los red teamers humanos, las pruebas de terceros y otras medidas de seguridad de la IA. GPT-Red continúa años de esfuerzos de ciberseguridad de OpenAI tras el lanzamiento público de ChatGPT, ampliando la Red de Red Teaming de OpenAI que reclutó a investigadores externos de ciberseguridad y expertos del dominio para examinar los modelos en busca de fallos de seguridad.

FAQ

¿Qué es GPT-Red y qué hace?
GPT-Red es un sistema automático de IA introducido por OpenAI diseñado para encontrar vulnerabilidades de seguridad en modelos de lenguaje mediante pruebas adversarias. El sistema usa aprendizaje por refuerzo con autojuego para generar ataques de prompt injection y otras pruebas adversarias, incorporando los ataques exitosos al entrenamiento del modelo para mejorar la robustez.

¿Cómo le fue a GPT-Red frente a los red teamers humanos?
OpenAI informó que GPT-Red tuvo éxito en el 84% de los escenarios de evaluación interna, frente al 13% de los red teamers humanos en las mismas pruebas. El sistema se usó para entrenar GPT-5.6 y redujo fallos en uno de los puntos de referencia de prompt injection más difíciles de OpenAI.

¿Por qué GPT-Red se mantendrá como una herramienta interna?
OpenAI indicó que GPT-Red seguirá siendo una herramienta interna porque contiene capacidades ofensivas desarrolladas intencionalmente. El sistema está diseñado para complementar a los red teamers humanos, las pruebas de terceros y otras medidas de seguridad de la IA, en lugar de lanzarse públicamente.