D-Matrix，这家由微软支持的 AI 芯片初创公司位于硅谷，推出其 Corsair 推理芯片，宣称在小型工作负载下，其推理处理速度比独立的 Nvidia GPU 快 10 倍，并且能耗降低 5 倍。该公司成立于 2019 年，融资约 5 亿美元后估值约 20 亿美元，本月开始向客户发货。该发布正值 AI 芯片市场展现出对专门玩家的巨大机会之际，上个月 Cerebras 的 IPO 融资超过 55 亿美元，并将公司估值推高至超过 500 亿美元；而在 12 月，Nvidia 以 200 亿美元收购了 Groq。
D-Matrix 使用 SRAM 存储架构实现低延迟推理
D-Matrix 的 Corsair 芯片通过在单芯片上紧密集成内存与计算，以低功耗实现低延迟推理。与 Groq 和 Cerebras 类似，D-Matrix 依赖 SRAM，这是一种可在台积电等逻辑代工厂制造并集成到同一芯片上的存储类型。GPU 依赖大量另一种名为 DRAM 的存储，并将其封装成围绕逻辑芯片的高带宽存储堆栈。联合创始人兼 CEO Sid Sheth 表示，该公司不会在 DRAM 方面遇到瓶颈，因为要想产品成功并不依赖 DRAM。
D-Matrix 表示，在搭配 Nvidia Blackwell GPU 时，引用 Gimlet Labs 的研究，Corsair 的推理速度可比独立 GPU 快 10 倍，成本低 3 倍，并且在能效上最高可提高 5 倍。Sheth 表示，Corsair 的设计面向 AI 推理，强调交互性或速度而非语言规模，瞄准聊天机器人、语音代理和能动型工具等使用场景。
公司从超大型云厂商和 AI 实验室获得承诺
Sheth 表示，公司已经获得了来自知名超大型云厂商、准云公司以及前沿 AI 实验室的承诺。D-Matrix 将于本月开始向这些客户发货。Sheth 说，大约 90% 的客户在美国，海外客户在中东和东南亚。微软通过其 M12 风投部门完成了投资。
Sheth 表示他无意出售公司，并称 AI 芯片市场是“正在形成的 1 万亿美元市场”。Bernstein Research 的半导体分析师 Stacy Rasgon 指出，D-Matrix 拥有相当数量的真实、实际客户合作机会，客户往往会将这些芯片与 Nvidia 一起使用。
Corsair 芯片在大规模模型上面临限制
斯坦福大学电气工程兼职教授 Rick Bahr 指出一个重要限制：尽管片上 SRAM 能带来令人惊叹的推理速度，因为数据在短距离内传输，但它无法处理如今由 OpenAI 和 Anthropic 等领军者所打造的大型模型中包含的数万亿级参数。Bahr 表示，这些参数根本无法放进基于 SRAM 的设计中。
Nvidia CEO 回应推理竞争宣称
Nvidia CEO Jensen Huang 上周表示，自己的公司仍凭借 Vera Rubin 系统在低成本推理方面保持领先，因为这不仅仅关乎速度。在台湾的 Computex 上，Huang 表示原因在于 Nvidia 会整合一切，从零开始设计一切，对整个系统进行仿真，并采用极致的协同设计。Nvidia 在 3 月于 GTC 发布了一款新的 Groq 芯片，名为语言处理单元。
D-Matrix 发货四芯卡：基于 TSMC 6 纳米工艺
D-Matrix 将四颗 Corsair 芯片打包成一张卡片出售，卡片可滑入数据中心服务器机架中的插槽，并且售价达到数万美元。Sheth 称，Corsair 是目前市场上最密集的 SRAM 解决方案，单台服务器内最多可拥有 128 GB 的 SRAM 内存。该芯片在台湾制造，采用台积电的 6 纳米工艺节点。
D-Matrix 与 Arista、Broadcom 和 Super Micro 组建了一个全机架规模系统 SquadRack，用于在 AI 数据中心部署其芯片。公司的下一代芯片 Raptor 计划明年在台积电 4 纳米工艺上推出，Sheth 表示，它可能会从台积电在亚利桑那的工厂生产出来。
FAQ
D-Matrix 针对其 Corsair 芯片的性能宣称是什么？
D-Matrix 称，其 Corsair 芯片在小型工作负载下可让推理处理速度比独立的 Nvidia GPU 快 10 倍，并且能耗降低 5 倍。与 Nvidia Blackwell GPU 搭配时，引用 Gimlet Labs 的研究，Corsair 的推理速度可比独立 GPU 快 10 倍，成本低 3 倍，并且在能效上最高可提高 5 倍。
D-Matrix 基于 SRAM 的方案在技术上有哪些限制？
根据斯坦福大学电气工程兼职教授 Rick Bahr 的说法，基于 SRAM 的设计无法处理由 OpenAI 和 Anthropic 等头部机构的大型模型所构成的数万亿级参数。虽然片上 SRAM 能实现卓越的推理速度，但这些参数根本无法被放置到基于 SRAM 的设计中。
D-Matrix 何时开始向客户发货 Corsair 芯片？
D-Matrix 将于本月开始向客户发货 Corsair 芯片。公司已经获得了来自超大型云厂商、准云公司以及前沿 AI 实验室的承诺，其中约 90% 的客户在美国，海外客户在中东和东南亚。
