'Momento de peligro': El CEO de Anthropic advierte sobre la ventana de riesgo cibernético mientras la IA descubre fallos en el software

En resumen

• Anthropic dice que su IA ha descubierto decenas de miles de vulnerabilidades de software.
• El CEO Dario Amodei advirtió que hay una ventana de 6 a 12 meses para arreglarlas.
• Los críticos dicen que los riesgos pueden estar exagerados incluso a medida que crecen las preocupaciones de seguridad.

Una discusión entre el CEO de Anthropic, Dario Amodei, y el CEO de JPMorgan Chase, Jamie Dimon, el martes se centró en la creciente amenaza de ciberseguridad planteada por la inteligencia artificial, ya que identifica vulnerabilidades más rápido de lo que las organizaciones pueden arreglar. En el evento de casi dos horas vinculado al impulso de Anthropic en los servicios financieros, donde presentó agentes de IA para tareas como presentaciones, revisión de ganancias y trabajo de cumplimiento, Amodei dijo que puede haber una ventana de seis a 12 meses para abordar decenas de miles de fallos descubiertos por el modelo Mythos de la compañía antes de que capacidades similares estén más ampliamente disponibles. “El peligro es simplemente un aumento enorme en la cantidad de vulnerabilidades, en la cantidad de brechas, en el daño financiero que se hace con ransomware en escuelas, hospitales, sin mencionar bancos,” dijo Amodei.

Las últimas declaraciones de Amodei siguen a pruebas anteriores con Mozilla, cuando una versión temprana de Mythos identificó 271 vulnerabilidades en el navegador Firefox en una sola pasada, mostrando cómo la IA puede escanear grandes bases de código mucho más rápido que los investigadores humanos.  Anthropic dijo que el modelo puede descubrir miles de debilidades previamente desconocidas en software ampliamente utilizado. Muchas permanecen no divulgadas porque aún no han sido parchadas, dejando fallos sin resolver. “Si anunciamos algo sin que esté arreglado, los malos lo explotarán,” dijo Amodei.

En pruebas controladas, Mythos completó simulaciones de ataques en red de múltiples pasos sin intervención humana, demostrando la capacidad de pasar de identificar debilidades a explotarlas. Anthropic ha restringido el modelo a un pequeño grupo de socios bajo el Proyecto Glasswing, con el objetivo de arreglar vulnerabilidades antes de que herramientas similares estén ampliamente disponibles. Los investigadores han demostrado que elementos de la capacidad de Mythos pueden ser reproducidos usando modelos existentes y técnicas de código abierto, sugiriendo que herramientas similares podrían difundirse más rápido de lo esperado. Las advertencias han generado escepticismo dentro de la industria. En abril, el CEO de OpenAI, Sam Altman, dijo que las preocupaciones sobre Mythos podrían estar exageradas y sugirió que Anthropic está usando “marketing basado en el miedo” para enmarcar los riesgos y justificar limitar el acceso a la tecnología. “Puedes justificar eso de muchas maneras diferentes, y algunas son reales, como que habrá preocupaciones legítimas de seguridad,” dijo Altman. “Pero si lo que quieres es como ‘necesitamos control de la IA, solo nosotros, porque somos las personas confiables,’ creo que el marketing basado en el miedo es probablemente la forma más efectiva de justificarlo.” Incluso con esa resistencia, a pesar de una disputa pública con Anthropic, se informa que el gobierno de EE. UU. está usando Claude Mythos para escanear redes clasificadas en busca de vulnerabilidades y probar sus capacidades de ciberseguridad, según Axios. Aunque no abordó la batalla legal en curso, Amodei dijo que Anthropic es “bueno para este país.” “Creo que la visión de Anthropic es la misma que siempre ha tenido. En términos de politización, este es el punto que mencioné sobre ser eficiente, sistemático y justo con todos,” dijo Amodei. “El propósito de las leyes y no hacer las cosas de manera improvisada es que todas las empresas sean, al menos en principio—sé que en la práctica es más complicado—tratadas de la misma manera, y debemos aspirar a eso aunque nunca vaya a hacerse perfectamente así.” Amodei enmarcó el momento como una ventana estrecha para actuar, advirtiendo que la rapidez con la que respondan las organizaciones podría determinar si los riesgos se intensifican o se controlan.

“Se trata de un momento de peligro donde, si respondemos correctamente, y creo que ya dimos los primeros pasos, podemos tener un mundo mejor al otro lado,” dijo Amodei. “Solo hay tantos errores que encontrar.”