D-Matrix สตาร์ทอัพชิปสำหรับ AI ที่ได้รับการสนับสนุนจาก Microsoft ซึ่งตั้งอยู่ในซิลิคอนแวลลีย์ ได้เปิดตัวชิปอินเฟอเรนซ์ Corsair โดยอ้างว่าสามารถรันงานอินเฟอเรนซ์ได้เร็วขึ้น 10 เท่า และใช้พลังงานน้อยลง 5 เท่าเมื่อเทียบกับ GPU ของ Nvidia เพียงตัวเดียวสำหรับงานขนาดเล็ก บริษัทก่อตั้งในปี 2019 และมีมูลค่าประมาณ 2 พันล้านดอลลาร์ หลังระดมทุนได้ราว 500 ล้านดอลลาร์ และเริ่มส่งมอบให้ลูกค้าได้ในเดือนนี้ การเปิดตัวครั้งนี้เกิดขึ้นท่ามกลางโอกาสขนาดใหญ่ในตลาดชิป AI สำหรับผู้เล่นเฉพาะทาง หลังจาก Cerebras เข้าจด IPO เมื่อเดือนที่แล้ว ระดมทุนได้มากกว่า 5.5 พันล้านดอลลาร์ และประเมินมูลค่าบริษัทที่มากกว่า 50 พันล้านดอลลาร์ รวมถึงการที่ Nvidia เข้าซื้อ Groq มูลค่า 20 พันล้านดอลลาร์ ในเดือนธันวาคม
D-Matrix ใช้สถาปัตยกรรมหน่วยความจำ SRAM เพื่อลดความหน่วงในการอินเฟอเรนซ์
ชิป Corsair ของ D-Matrix ทำอินเฟอเรนซ์ได้มีความหน่วงต่ำด้วยการใช้พลังงานต่ำ โดยบูรณาการหน่วยความจำและการประมวลผลเข้าด้วยกันอย่างแน่นหนาบนชิปเดียวเดียวกับที่รวมกันไว้ ในแบบเดียวกับ Groq และ Cerebras D-Matrix พึ่งพา SRAM ซึ่งเป็นหน่วยความจำชนิดหนึ่งที่สามารถผลิตที่โรงงานผลิตชิปเชิงตรรกะ (logic fabs) เช่น Taiwan Semiconductor Manufacturing Company และรวมเข้ากับชิปเดียวกันได้ GPU ใช้หน่วยความจำอีกประเภทหนึ่งจำนวนมากที่เรียกว่า DRAM ซึ่งถูกบรรจุเป็นสแตกของหน่วยความจำแบนด์วิดท์สูง (high bandwidth memory) ที่เพิ่มเข้ารอบชิปฝั่งลอจิก ร่วมกัน ซิด เชท (Sid Sheth) ผู้ร่วมก่อตั้งและซีอีโอ กล่าวว่า บริษัทไม่ได้ติดคอขวดรอบ DRAM เพราะผลิตภัณฑ์ไม่ได้พึ่งพา DRAM เพื่อให้ประสบความสำเร็จ
เมื่อจับคู่กับ Nvidia Blackwell GPU D-Matrix ระบุโดยอ้างอิงงานวิจัยจาก Gimlet Labs ว่า Corsair สามารถรันอินเฟอเรนซ์ได้เร็วขึ้น 10 เท่า ถูกลง 3 เท่า และประหยัดพลังงานได้มากกว่าถึง 5 เท่าเมื่อเทียบกับ GPU ที่เป็นอิสระ เชทกล่าวว่า Corsair ได้รับการออกแบบมาเพื่อการอินเฟอเรนซ์ของ AI โดยปรับให้เหมาะกับความเร็วหรือความสามารถในการโต้ตอบมากกว่าขนาดของภาษา โดยเน้นเคสการใช้งานอย่างแชทบอต ผู้ช่วยเสียง และเครื่องมือเชิงเอเจนต์
บริษัทได้การยืนยันสั่งซื้อจากไฮเปอร์สเกลเลอร์และแล็บ AI
เชทกล่าวว่า บริษัทได้รับการยืนยันจากกลุ่มไฮเปอร์สเกลเลอร์ที่มีชื่อเสียง รวมถึงเนโอคลาวด์ (neoclouds) และแล็บ AI ระดับแนวหน้า D-Matrix เริ่มส่งมอบให้ลูกค้ากลุ่มนั้นในเดือนนี้ โดยประมาณ 90% ของลูกค้าอยู่ในสหรัฐฯ ส่วนลูกค้าต่างประเทศอยู่ที่ตะวันออกกลางและเอเชียตะวันออกเฉียงใต้ เชทกล่าว พร้อมเสริมว่า Microsoft ลงทุนผ่านหน่วย M12 ของบริษัท
เชทระบุว่าไม่มีแผนที่จะขายบริษัท และเรียกตลาดชิป AI ว่าเป็น “ตลาดมูลค่า 1 ล้านล้านดอลลาร์” ที่กำลังก่อตัวขึ้น นักวิเคราะห์เซมิคอนดักเตอร์สเตซีย์ รัสกอน (Stacy Rasgon) จาก Bernstein Research ระบุว่า D-Matrix มีจำนวนการมีส่วนร่วมกับลูกค้าจริง ๆ ในระดับที่เหมาะสม โดยลูกค้ามักจะใช้ชิปควบคู่กับ Nvidia
ชิป Corsair มีข้อจำกัดกับโมเดลขนาดใหญ่
ริค บา์ห์ (Rick Bahr) ศาสตราจารย์สมทบด้านวิศวกรรมไฟฟ้าจากมหาวิทยาลัยสแตนฟอร์ด ชี้ให้เห็นข้อจำกัดสำคัญว่า แม้ SRAM บนชิปจะทำให้ความเร็วในการอินเฟอเรนซ์ทำได้อย่างโดดเด่นเพราะข้อมูลต้องเดินทางในระยะสั้น แต่ก็ไม่สามารถรองรับพารามิเตอร์ระดับ “หลายล้านล้าน” ที่ประกอบเป็นโมเดลขนาดใหญ่ในปัจจุบันซึ่งนำโดย OpenAI และ Anthropic ได้ บา์ห์ระบุว่า จำนวนพารามิเตอร์ดังกล่าวไม่สามารถนำไปใส่ในดีไซน์ที่อาศัย SRAM ได้
ซีอีโอ Nvidia ตอบโต้ข้ออ้างเรื่องการแข่งขันด้านอินเฟอเรนซ์
เจนเซน หวง (Jensen Huang) ซีอีโอของ Nvidia กล่าวเมื่อสัปดาห์ที่แล้วว่า บริษัทของเขายังเป็นผู้นำด้านอินเฟอเรนซ์ต้นทุนต่ำด้วยระบบ Vera Rubin เพราะมันไม่ใช่แค่เรื่องความเร็ว ในงาน Computex ที่ไต้หวัน หวงกล่าวว่าเหตุผลคือ Nvidia “รวมทุกอย่างไว้ด้วยกัน” ออกแบบทุกส่วนตั้งแต่ต้นจนจบ จำลองทั้งระบบ และใช้แนวคิดโคดีไซน์ขั้นสุด Nvidia เปิดตัวชิป Groq รุ่นใหม่ที่งาน GTC ในเดือนมีนาคม โดยเรียกมันว่า language processing unit
D-Matrix ส่งมอบการ์ดแบบ 4 ชิปที่สร้างบนกระบวนการ TSMC 6 นาโนเมตร
D-Matrix จำหน่ายชิป Corsair จำนวน 4 ตัวที่บรรจุรวมกันอยู่ใน “การ์ด” ซึ่งเลื่อนเข้าไปยังช่องในเซิร์ฟเวอร์สำหรับตู้แร็คดาต้าเซ็นเตอร์ และมีราคาหลายหมื่นดอลลาร์ เชทเรียก Corsair ว่าเป็นโซลูชัน SRAM ที่มีความหนาแน่นสูงที่สุดในตลาดวันนี้ โดยมี SRAM สูงสุดถึง 128 กิกะไบต์ในเซิร์ฟเวอร์เครื่องเดียว ชิปผลิตในไต้หวัน บนโหนด 6 นาโนเมตรของ TSMC
D-Matrix จับมือกับ Arista, Broadcom และ Super Micro เพื่อสร้างระบบเต็มรูปแบบระดับตู้ที่เรียกว่า SquadRack สำหรับการติดตั้งใช้งานชิปในดาต้าเซ็นเตอร์ของ AI ชิปตัวถัดไปของบริษัทคือ Raptor มีกำหนดเปิดตัวปีหน้า บน TSMC 4 นาโนเมตร โดยเชทกล่าวว่าอาจจะผลิตออกจากโรงงานของบริษัทไต้หวันในรัฐแอริโซนาได้
FAQ
D-Matrix อ้างประสิทธิภาพอะไรสำหรับชิป Corsair?
D-Matrix อ้างว่าชิป Corsair สามารถรันงานอินเฟอเรนซ์ได้เร็วขึ้น 10 เท่า และใช้พลังงานน้อยลง 5 เท่าเมื่อเทียบกับ GPU ของ Nvidia แบบเดี่ยว สำหรับงานขนาดเล็ก เมื่อจับคู่กับ Nvidia Blackwell GPU โดยอ้างอิงงานวิจัยจาก Gimlet Labs Corsair สามารถรันอินเฟอเรนซ์ได้เร็วขึ้น 10 เท่า ถูกลง 3 เท่า และประหยัดพลังงานได้มากถึง 5 เท่าเมื่อเทียบกับ GPU ที่เป็นอิสระ
ข้อจำกัดเชิงเทคนิคของแนวทางที่ใช้ SRAM ของ D-Matrix คืออะไร?
ตามที่ Rick Bahr ศาสตราจารย์สมทบด้านวิศวกรรมไฟฟ้าจากมหาวิทยาลัยสแตนฟอร์ดกล่าวไว้ ดีไซน์ที่อาศัย SRAM ไม่สามารถรองรับพารามิเตอร์ระดับ “หลายล้านล้าน” ที่ประกอบเป็นโมเดลขนาดใหญ่จากผู้นำอย่าง OpenAI และ Anthropic ได้ แม้ SRAM บนชิปจะช่วยให้ความเร็วในการอินเฟอเรนซ์ทำได้อย่างโดดเด่น แต่จำนวนพารามิเตอร์ดังกล่าวก็ไม่สามารถนำไปใส่ในดีไซน์ที่อาศัย SRAM ได้จริง
D-Matrix เริ่มส่งมอบชิป Corsair ให้ลูกค้าเมื่อใด?
D-Matrix เริ่มส่งมอบชิป Corsair ให้ลูกค้าในเดือนนี้ บริษัทมีการยืนยันสั่งซื้อจากไฮเปอร์สเกลเลอร์ เนโอคลาวด์ และแล็บ AI ระดับแนวหน้า โดยประมาณ 90% ของลูกค้าอยู่ในสหรัฐฯ และลูกค้าต่างประเทศอยู่ที่ตะวันออกกลางและเอเชียตะวันออกเฉียงใต้
