OpenAI impulsa nuevas funciones de seguridad de ChatGPT mientras aumentan las demandas legales

En resumen

• OpenAI dice que ChatGPT ahora puede detectar mejor signos de autolesión o violencia durante conversaciones en curso.
• La actualización llega mientras la compañía enfrenta demandas e investigaciones por afirmaciones de que ChatGPT manejó de manera inapropiada conversaciones peligrosas.
• OpenAI dijo que las nuevas salvaguardas se basan en “resúmenes de seguridad” temporales en lugar de memoria permanente o personalización.

OpenAI anunció el jueves nuevas funciones de seguridad diseñadas para ayudar a ChatGPT a reconocer signos de riesgo creciente en las conversaciones mientras la compañía enfrenta un escrutinio legal y político cada vez mayor sobre cómo su chatbot maneja a los usuarios en situación de angustia. En una publicación en un blog, OpenAI dijo que las actualizaciones mejoran la capacidad de ChatGPT para identificar señales de advertencia relacionadas con el suicidio, autolesiones y violencia potencial analizando el contexto que se desarrolla con el tiempo en lugar de tratar cada mensaje por separado. “Las personas acuden a ChatGPT todos los días para hablar sobre lo que les importa, desde preguntas cotidianas hasta conversaciones más personales o complejas,” escribió la compañía. “En cientos de millones de interacciones, algunas de estas conversaciones incluyen personas que están luchando o experimentando angustia.”

Según OpenAI, ChatGPT ahora utiliza “resúmenes de seguridad” temporales, que describió como notas de alcance limitado que capturan el contexto relevante relacionado con la seguridad de conversaciones anteriores.  “En conversaciones sensibles, el contexto puede importar tanto como un solo mensaje,” escribió la compañía. “Una solicitud que parece ordinaria o ambigua por sí sola puede tener un significado muy diferente cuando se ve junto a signos anteriores de angustia o intención dañina posible.” OpenAI dijo que los resúmenes son notas a corto plazo utilizadas solo en situaciones graves, no para recordar permanentemente a los usuarios o personalizar chats, y se usan para detectar signos de que una conversación se está volviendo peligrosa, evitar dar información dañina, desescalar la situación o guiar a los usuarios hacia ayuda.

“Nos centramos en este trabajo en escenarios agudos, incluyendo suicidio, autolesiones y daño a otros,” escribieron. “Trabajando con expertos en salud mental, actualizamos nuestras políticas de modelo y entrenamiento para mejorar la capacidad de ChatGPT para reconocer señales de advertencia que surgen a lo largo de una conversación y usar ese contexto para responder de manera más cuidadosa.” El anuncio llega mientras OpenAI enfrenta múltiples demandas e investigaciones que alegan que ChatGPT no respondió adecuadamente a conversaciones peligrosas que involucraban violencia, vulnerabilidad emocional y comportamientos riesgosos. En abril, el Fiscal General de Florida, James Uthmeier, inició una investigación sobre OpenAI relacionada con preocupaciones sobre la seguridad infantil, autolesiones y la masacre de 2025 en la Universidad Estatal de Florida. OpenAI también enfrenta una demanda federal que alega que ChatGPT ayudó al presunto atacante a llevar a cabo el ataque. El martes, OpenAI y el CEO Sam Altman fueron demandados en un tribunal estatal de California por la familia de un estudiante de 19 años que murió por una sobredosis accidental, con la demanda alegando que ChatGPT fomentó el uso peligroso de drogas y asesoró sobre la mezcla de sustancias. OpenAI dijo que ayudar a ChatGPT a reconocer “riesgos que solo se vuelven claros con el tiempo” sigue siendo un desafío en curso; métodos de seguridad similares podrían eventualmente expandirse a otras áreas. “Hoy, este trabajo se centra en escenarios de autolesión y daño a otros. En el futuro, podríamos explorar si métodos similares pueden ayudar en otras áreas de alto riesgo como la biología o la seguridad cibernética, con salvaguardas cuidadosas en su lugar,” escribieron. “Esto sigue siendo una prioridad en curso, y continuaremos fortaleciendo las salvaguardas a medida que nuestros modelos y comprensión evolucionen.”