Sakana AI et Nvidia atteignent une inférence H100 30% plus rapide en sautant 80% des calculs invalides

Sakana AI et Nvidia ont open-sourcé TwELL, un format de données clairsemées qui permet aux GPU H100 d’ignorer 80% des calculs invalides dans les grands modèles de langage sans perte de précision. La solution offre jusqu’à 30% d’inférence plus rapide et 24% d’entraînement plus rapide sur des H100, tout en réduisant l’usage maximal de mémoire. Lors de tests sur un modèle de 1,5 milliard de paramètres, l’approche a ramené les neurones actifs à moins de 2% grâce à une régularisation légère pendant l’entraînement, sans dégradation des performances sur sept tâches en aval.

Avertissement : Les informations contenues dans cette page peuvent provenir de tiers et ne représentent pas les points de vue ou les opinions de Gate. Le contenu de cette page est fourni à titre de référence uniquement et ne constitue pas un conseil financier, d'investissement ou juridique. Gate ne garantit pas l'exactitude ou l'exhaustivité des informations et n'est pas responsable des pertes résultant de l'utilisation de ces informations. Les investissements en actifs virtuels comportent des risques élevés et sont soumis à une forte volatilité des prix. Vous pouvez perdre la totalité du capital investi. Veuillez comprendre pleinement les risques pertinents et prendre des décisions prudentes en fonction de votre propre situation financière et de votre tolérance au risque. Pour plus de détails, veuillez consulter l'avertissement.
Commentaire
0/400
Aucun commentaire