Sakana AI et Nvidia ont open-sourcé TwELL, un format de données clairsemées qui permet aux GPU H100 d’ignorer 80% des calculs invalides dans les grands modèles de langage sans perte de précision. La solution offre jusqu’à 30% d’inférence plus rapide et 24% d’entraînement plus rapide sur des H100, tout en réduisant l’usage maximal de mémoire. Lors de tests sur un modèle de 1,5 milliard de paramètres, l’approche a ramené les neurones actifs à moins de 2% grâce à une régularisation légère pendant l’entraînement, sans dégradation des performances sur sept tâches en aval.
Related News
Nvidia ouvre un partenariat de long terme en matière d’IA avec Deepinfra, qui obtient un financement de série B de 107 millions de dollars afin de créer une « usine de jetons »
L’écosystème de Space Computing de Nvidia sort, avec Space-1 Vera Rubin qui envoie la puissance de calcul IA de niveau centre de données dans l’espace
Wall Street « génération de remplacement des puces IA » : Intel/AMD +25 %, Micron +37 %, NVIDIA en retard