Zhipu lance une API haut débit GLM-5.1 atteignant 400 tokens/s, record mondial

D’après Beating Monitoring, Zhipu a lancé l’API GLM-5.1 High-Speed pour certains clients entreprises, avec une vitesse de sortie du modèle atteignant 400 tokens/s, établissant un nouveau record mondial pour le débit des interfaces officielles des grands modèles de langage. La version haute vitesse est alimentée par un moteur d’inférence hautes performances co-développé par Zhipu et l’équipe TileRT, en conservant toutes les capacités du modèle phare tout en réduisant considérablement la latence grâce à l’optimisation des kernels GPU et à la planification des tâches au niveau des tuiles.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire