Vitalik เสนอให้มาตรฐานฮาร์ดแวร์ LLM แบบใช้งานในเครื่องให้สอดคล้องกับระดับความจำ 96GB

ETH-3.48%
ตามรายงานของ PANews เมื่อวันที่ 28 พฤษภาคม วิทาลิก บูเทอริน ผู้ร่วมก่อตั้ง Ethereum ได้เสนอว่า การใช้งานโมเดลภาษาขนาดใหญ่เฉพาะที่ (LLM) ควรยึดมาตรฐานการกำหนดค่าหน่วยความจำให้สอดคล้องกัน โดยระบุว่า 96GB เป็นขีดจำกัดบนที่เป็นไปได้สำหรับฮาร์ดแวร์ในปัจจุบัน บูเทอรินยกตัวอย่างเป็นจุดอ้างอิง ได้แก่ GPU RTX 6000 ที่มี VRAM 96GB และ MacBook รุ่นเรือธงที่มีหน่วยความจำแบบรวม 128GB พร้อมระบุว่าควรจัดสรรพื้นที่ราว 32GB ไว้สำหรับงานของระบบอื่นๆ เขาเสนอให้ระบบนิเวศนำ “ระดับความจุ” ที่ได้มาตรฐานมาใช้ ได้แก่ 2GB, 8GB, 24GB, 96GB, 256GB และ 1TB เพื่อเพิ่มประสิทธิภาพในการนำไปใช้งาน และเสริมความเข้ากันได้ข้ามแพลตฟอร์มสำหรับทั้งการออกแบบ LLM และฮาร์ดแวร์ GPU
news.article.disclaimer
แสดงความคิดเห็น
0/400
ไม่มีความคิดเห็น