Sakana AI และ Nvidia ทำได้เร็วกว่าการอินเฟอเรนซ์ H100 ถึง 30% ด้วยการข้ามการคำนวณที่ไม่ถูกต้อง 80%

Sakana AI และ Nvidia ได้เปิดซอร์ส TwELL ซึ่งเป็นรูปแบบข้อมูลแบบเบาบางที่ช่วยให้ GPU H100 ข้ามการคำนวณที่ไม่ถูกต้องไปถึง 80% ในโมเดลภาษาขนาดใหญ่โดยไม่ลดทอนความแม่นยำ โซลูชันนี้ช่วยให้การอนุมานเร็วขึ้นได้ถึง 30% และการฝึกเร็วขึ้น 24% บน H100 พร้อมทั้งลดการใช้หน่วยความจำสูงสุด ระหว่างการทดสอบกับโมเดลพารามิเตอร์ 1.5 พันล้าน วิธีดังกล่าวทำให้จำนวนประสาทที่ทำงานอยู่ลดลงต่ำกว่า 2% ด้วยการทำให้สม่ำเสมอแบบเบา (lightweight regularization) ระหว่างการฝึก โดยไม่พบการเสื่อมของประสิทธิภาพในงานปลายน้ำ 7 งาน