MiniMax analiza 200 mil tokens y detecta una degradación del 4,9% en los modelos de la serie M2

Según el blog técnico de MiniMax, la empresa descubrió una degradación significativa de tokens en sus modelos de la serie M2 mediante un escaneo completo del vocabulario. Aproximadamente el 4,9% de los 200.000 tokens mostró un descenso notable del rendimiento, y los tokens japoneses fueron los más afectados con un 29,7%, frente a los coreanos (3,3%), rusos (3,7%), chinos (3,9%) y los ingleses (3,5%). La degradación se origina porque los tokens de baja frecuencia se empujan hacia direcciones incorrectas del espacio vectorial durante el post-entrenamiento, donde los tokens de alta frecuencia como los marcadores de tool_call actualizan continuamente los parámetros que los rodean.

MiniMax implementó una solución con datos sintéticos usando tareas simples de repetición de tokens para estabilizar todo el vocabulario. Los resultados fueron inmediatos: los caracteres rusos mezclados en respuestas japonesas bajaron del 47% al 1%, y la estabilidad del vector (similitud coseno) mejoró, pasando de un mínimo de 0,329 a más de 0,97 en todos los tokens.

Aviso legal: La información de esta página puede proceder de terceros y no representa los puntos de vista ni las opiniones de Gate. El contenido que aparece en esta página es solo para fines informativos y no constituye ningún tipo de asesoramiento financiero, de inversión o legal. Gate no garantiza la exactitud ni la integridad de la información y no se hace responsable de ninguna pérdida derivada del uso de esta información. Las inversiones en activos virtuales conllevan riesgos elevados y están sujetas a una volatilidad significativa de los precios. Podrías perder todo el capital invertido. Asegúrate de entender completamente los riesgos asociados y toma decisiones prudentes de acuerdo con tu situación financiera y tu tolerancia al riesgo. Para obtener más información, consulta el Aviso legal.

Artículos relacionados

Anthropic reduce la tasa de “jailbreak” de Claude a 0% con métodos novedosos de entrenamiento de alineación

Anthropic publicó recientemente una investigación de alineación que detalla estrategias de entrenamiento que eliminaron la desalineación de agentes en Claude 4.5 y modelos posteriores, reduciendo los comportamientos tipo extorsión al 0% en las pruebas. El equipo descubrió que las demostraciones convencionales de comportamiento por sí solas no eran efectivas, ya que solo redujeron las tasas de fallo del 22% al 15%. Tres enfoques alternativos resultaron significativamente más efectivos: un conjunt

GateNewsHace11m

Jeff Kaufman: La IA rompe simultáneamente dos culturas de vulnerabilidades de ciberseguridad y el período de prohibición de 90 días se vuelve contraproducente

El 8 de mayo, el ingeniero de software Jeff Kaufman (jefftk) publicó el artículo “AI is Breaking Two Vulnerability Cultures”, en el que sostiene que la IA está rompiendo dos culturas de tratamiento de vulnerabilidades que han coexistido durante mucho tiempo: la divulgación coordinada (coordinated disclosure) y los “bugs are bugs” (“los bugs son los bugs”). Ambas estrategias se apoyaban en el supuesto de que los atacantes detectan las fallas a una velocidad lenta, una premisa que ya ha sido super

ChainNewsAbmediaHace30m

OpenAI revela un impacto inesperado de la puntuación CoT: conservar la supervisión de la cadena de pensamiento es una línea de defensa clave para alinear los agentes de IA

OpenAI 發表了 5 月 8 日的新研究,揭露公司在強化學習(RL)訓練過程中,部分模型的思路鏈(Chain of Thought, CoT)被「accidental scoring」意外評分,可能影響 AI Agent 的對齊(alignment)監控能力. El equipo de OpenAI Alignment informó y explicó: conservar la capacidad de supervisar la CoT es una línea de defensa clave actual para prevenir fallos de alineación en los AI Agent; en su diseño de entrenamiento con RL, OpenAI evita intencionalmente castigar el “razonamiento de fallo de alineación” del modelo para mantener la capacidad de supervisión. Por qué la su

ChainNewsAbmediaHace33m

Las llamadas a la API de B.AI alcanzan el 90,6%, y los usuarios de pago llegan al 95,1% el 8 de mayo

Según B.AI, el 8 de mayo la plataforma informó que las llamadas de enrutamiento de API representaron el 90,6% de las interacciones totales, mientras que los usuarios de pago representaron el 95,1% de la base de usuarios. Los modelos de la serie Claude lideraron con el 35,6% de las llamadas de API, dominando el razonamiento complejo y las tareas de contexto largo, mientras que DeepSeek-V4-Flash y GPT-5.5 mostraron un fuerte crecimiento en escenarios de alta concurrencia y baja latencia.

GateNewsHace37m

Ingeniero de Anthropic: el HTML es el mejor formato de salida de Claude Code, no Markdown

El equipo de ingenieros de Anthropic Claude Code, Thariq Shihipar, publicó el 8 de mayo «Using Claude Code: The Unreasonable Effectiveness of HTML», defendiendo que HTML sustituya a Markdown como formato de salida para interactuar con Claude Code. Simon Willison resume los puntos clave: HTML ofrece gráficos SVG, elementos interactivos, anclajes dentro de la página y estilos CSS, haciendo que las respuestas de Claude pasen de ser «texto lineal» a «documentos multidimensionales», lo que puede mejorar de forma significativa la eficiencia de lectura y comprensión. Este tema ha generado un gran interés en la plataforma X: las dos publicaciones relacionadas de Shihipar en total superan los 15.000 likes.

ChainNewsAbmediaHace43m
Comentar
0/400
Sin comentarios