Sakana AI y Nvidia logran una inferencia 30% más rápida en H100 al omitir el 80% de los cálculos inválidos

Sakana AI y Nvidia han publicado TwELL como open-source, un formato de datos dispersos que permite a las GPU H100 omitir el 80% de los cálculos inválidos en modelos de lenguaje grandes sin perder precisión. La solución ofrece hasta un 30% más de velocidad en la inferencia y un 24% más rápida en el entrenamiento en H100, a la vez que reduce el uso máximo de memoria. En pruebas con un modelo de 1,5 mil millones de parámetros, el enfoque redujo las neuronas activas a menos del 2% mediante una regularización ligera durante el entrenamiento, sin degradación del rendimiento en siete tareas posteriores.

Aviso legal: La información de esta página puede proceder de terceros y no representa los puntos de vista ni las opiniones de Gate. El contenido que aparece en esta página es solo para fines informativos y no constituye ningún tipo de asesoramiento financiero, de inversión o legal. Gate no garantiza la exactitud ni la integridad de la información y no se hace responsable de ninguna pérdida derivada del uso de esta información. Las inversiones en activos virtuales conllevan riesgos elevados y están sujetas a una volatilidad significativa de los precios. Podrías perder todo el capital invertido. Asegúrate de entender completamente los riesgos asociados y toma decisiones prudentes de acuerdo con tu situación financiera y tu tolerancia al riesgo. Para obtener más información, consulta el Aviso legal.
Comentar
0/400
Sin comentarios