Nvidia เปิดตัว Nemotron 3 Ultra โมเดลเรือธง 550B พารามิเตอร์ พร้อมสถาปัตยกรรม Hybrid MoE แบบ Mamba-Transformer

ตาม Beating เมื่อวันที่ 4 มิถุนายน Nvidia ได้เปิดตัว Nemotron 3 Ultra โมเดลภาษาขนาดใหญ่เรือธง โดยมีพารามิเตอร์รวม 550 พันล้านตัว และพารามิเตอร์ที่ใช้งานจริง 55 พันล้านตัว โมเดลทำคะแนน 48 ในดัชนีความฉลาดของ Artificial Analysis ทำให้เป็นโมเดลโอเพนซอร์สจากสหรัฐที่ทำผลงานได้ดีที่สุด โดยรั้งอันดับสองรองจาก Kimi K2.6 ที่ 54 คะแนน

โมเดลใช้สถาปัตยกรรมแบบผสม Mamba-Transformer MoE ที่สลับชั้น Mamba-2 state space กับชั้น Transformer attention รองรับบริบทขนาด 1 ล้านโทเค็น พร้อมหลีกเลี่ยงการเติบโตแบบเป็นกำลังสองของ KV cache เมื่อเทียบกับโมเดลแบบหนาแน่นที่มีขนาดใกล้เคียงกัน สถาปัตยกรรมแบบผสมช่วยให้มีทรูพุตสูงขึ้น 5 เท่า และต้นทุนการอินเฟอเรนซ์ต่ำลง 30% สำหรับงานด้านเอเจนต์ Nemotron 3 Ultra วางจำหน่ายบน Hugging Face, NVIDIA NIM และ OpenRouter