Zhipu ปล่อย GLM-5.1 High-Speed API ทำสถิติโลกใหม่ที่ 400 โทเค็นต่อวินาที

อ้างอิงจาก Beating Monitoring บริษัท Zhipu ได้เปิดตัว GLM-5.1 High-Speed API สำหรับลูกค้าองค์กรที่คัดเลือก โดยความเร็วในการสร้างผลลัพธ์ของโมเดลทำได้สูงถึง 400 โทเค็น/วินาที ซึ่งถือเป็นสถิติระดับโลกใหม่สำหรับอัตราการรองรับอินเทอร์เฟซทางการของโมเดลภาษาขนาดใหญ่ เวอร์ชันความเร็วสูงนี้ขับเคลื่อนด้วยเอนจิ้นการอินเฟอเรนซ์ประสิทธิภาพสูงที่ร่วมพัฒนาระหว่าง Zhipu และทีม TileRT โดยยังคงความสามารถเต็มรูปแบบของโมเดลเรือธงไว้ พร้อมลดความหน่วงอย่างมีนัยสำคัญผ่านการปรับแต่ง GPU kernel และการจัดตารางงานแบบระดับไทล์
news.article.disclaimer
แสดงความคิดเห็น
0/400
ไม่มีความคิดเห็น