Tether AI เปิดตัว TurboQuant แบบโอเพ่นซอร์ส พร้อมผสานเข้ากับ QVAC SDK 0.12.0 ด้วยการบีบอัด KV Cache 5 เท่า

Tether AI เพิ่งเปิดตัว TurboQuant แบบโอเพนซอร์ส และนำไปรวมเข้ากับ QVAC SDK เวอร์ชัน 0.12.0 โดยอาศัยอัลกอริทึมการบีบอัดหน่วยความจำของ Google Research เทคโนโลยีนี้สามารถบีบอัดแคช KV ของโมเดลภาษาขนาดใหญ่ได้สูงสุด 5 เท่า ช่วยลดการใช้หน่วยความจำบนอุปกรณ์แบบออนดีไวซ์และอุปกรณ์ขอบข่าย ขณะเดียวกันยังคงคุณภาพของผลลัพธ์ไว้
news.article.disclaimer
แสดงความคิดเห็น
0/400
ไม่มีความคิดเห็น