Los chatbots de IA que dan consejos médicos 'peligrosos', advierte estudio de Oxford

En resumen

• La investigación de la Universidad de Oxford señala que los chatbots de IA están dando consejos médicos peligrosos a los usuarios.
• Aunque los chatbots obtienen altas puntuaciones en pruebas estandarizadas de conocimientos médicos, fallan en escenarios personales, encontró el estudio.
• Los investigadores descubrieron que los modelos de lenguaje grande (LLMs) no eran mejores que los métodos tradicionales para tomar decisiones médicas.

Los chatbots de IA están luchando por convertirse en la próxima gran tendencia en atención médica, aprobando pruebas estandarizadas y ofreciendo consejos para tus problemas de salud. Pero un nuevo estudio publicado en Nature Medicine ha demostrado que no solo están muy lejos de lograr esto, sino que en realidad podrían ser peligrosos. El estudio, dirigido por varios equipos de la Universidad de Oxford, identificó una brecha notable en los modelos de lenguaje grande (LLMs). Aunque eran técnicamente muy avanzados en comprensión médica, no lograron ayudar a los usuarios con problemas médicos personales, encontraron los investigadores. “A pesar de todo el bombo, la IA simplemente no está lista para asumir el papel del médico,” dijo en un comunicado de prensa la Dra. Rebecca Payne, la principal profesional médica del estudio. Añadió que, “los pacientes deben ser conscientes de que preguntar a un modelo de lenguaje grande sobre sus síntomas puede ser peligroso, ya que puede dar diagnósticos incorrectos y no reconocer cuándo se necesita ayuda urgente.” El estudio contó con la participación de 1,300 personas que usaron modelos de IA de OpenAI, Meta y Cohere para identificar condiciones de salud. Se plantearon una serie de escenarios desarrollados por médicos, pidiendo al sistema de IA que les indicara qué hacer a continuación para tratar su problema médico.

 El estudio encontró que sus resultados no eran mejores que los métodos tradicionales de autodiagnóstico, como buscar en línea o incluso el juicio personal. También descubrieron que había una desconexión para los usuarios, que no sabían qué información necesitaba el LLM para ofrecer consejos precisos. A los usuarios se les proporcionó una combinación de buenos y malos consejos, lo que dificultaba identificar los pasos a seguir. Decrypt se ha puesto en contacto con OpenAI, Meta y Cohere para solicitar comentarios, y actualizará este artículo si reciben respuesta.

“Como médico, hay mucho más que recordar hechos para llegar al diagnóstico correcto. La medicina es un arte además de una ciencia. Escuchar, indagar, aclarar, verificar la comprensión y guiar la conversación son esenciales,” dijo Payne a Decrypt. “Los médicos activamente solicitan síntomas relevantes porque los pacientes a menudo no saben qué detalles importan,” explicó, añadiendo que el estudio mostró que los LLMs “aún no son capaces de gestionar de manera confiable esa interacción dinámica con no expertos.” El equipo concluyó que la IA simplemente no está preparada para ofrecer consejos médicos en este momento, y que se necesitan nuevos sistemas de evaluación si alguna vez se quiere usar adecuadamente en la atención sanitaria. Sin embargo, eso no significa que no tengan un lugar en el campo médico tal como está. Mientras que los LLMs “definitivamente tienen un papel en la atención médica,” dijo Payne, debería ser como “secretario, no como médico.” La tecnología tiene beneficios en términos de “resumir y reempaquetar la información ya proporcionada,” y los LLMs ya se usan en consultorios para “transcribir consultas y reempaquetar esa información en una carta para un especialista, una hoja informativa para el paciente o para los registros médicos,” explicó. El equipo concluyó que, aunque no están en contra de la IA en la atención médica, esperan que este estudio sirva para encauzarla mejor en la dirección correcta.