D-Matrix, una startup de chips de IA respaldada por Microsoft ubicada en Silicon Valley, lanzó su chip de inferencia Corsair con afirmaciones de ejecutar cargas de trabajo de inferencia 10 veces más rápido y usando cinco veces menos energía que una GPU Nvidia independiente para cargas pequeñas. La compañía, fundada en 2019 y valorada en alrededor de 2 mil millones de dólares después de recaudar aproximadamente 500 millones de dólares, comienza a enviar este mes a los clientes. El lanzamiento llega cuando el mercado de chips de IA muestra una oportunidad sustancial para actores especializados, tras la IPO de Cerebras el mes pasado que recaudó más de 5,5 mil millones de dólares y valoró a la empresa en más de 50 mil millones de dólares, y la adquisición de Groq por parte de Nvidia por 20 mil millones de dólares en diciembre.
D-Matrix Usa la Arquitectura de Memoria SRAM para Inferencia de Baja Latencia
El chip Corsair de D-Matrix logra inferencia de baja latencia con bajo consumo al integrar estrechamente memoria y cómputo en un solo chip. Al igual que Groq y Cerebras, D-Matrix se apoya en SRAM, un tipo de memoria que puede fabricarse en centros de lógica como Taiwan Semiconductor Manufacturing Company e integrarse en el mismo chip. Las GPU dependen de grandes cantidades de otro tipo de memoria llamado DRAM, empaquetada en pilas de alta memoria de ancho de banda (high bandwidth memory) añadidas alrededor del chip de lógica. El cofundador y CEO Sid Sheth dijo que la empresa no se topa con un cuello de botella alrededor de DRAM porque el producto no depende de DRAM para tener éxito.
Cuando se combina con una GPU Nvidia Blackwell, D-Matrix dice, citando investigación de Gimlet Labs, que Corsair puede ejecutar inferencia 10 veces más rápido, 3 veces más barato y hasta cinco veces con mayor eficiencia energética que una GPU independiente. Sheth dice que Corsair está diseñado para inferencia de IA optimizando la interactividad o la velocidad por encima del tamaño del lenguaje, apuntando a casos de uso como chatbots, agentes de voz y herramientas agentic.
La Empresa Asegura Compromisos de Hiperscalers y Labs de IA
Sheth dijo que la empresa tiene compromisos de hiperscalers de alto perfil, neoclouds y laboratorios de IA de frontera. D-Matrix comienza a enviar a esos clientes este mes. Aproximadamente el 90% de los clientes están en EE. UU., mientras que los clientes en el extranjero están en Oriente Medio y el Sudeste Asiático, dijo Sheth. Microsoft invirtió a través de su brazo de venture M12.
Sheth afirmó que no tiene intención de vender la compañía y calificó el mercado de chips de IA como "un mercado de 1 billón de dólares en proceso de formarse". El analista de semiconductores Stacy Rasgon, de Bernstein Research, señaló que D-Matrix tiene una cantidad razonable de compromisos reales con clientes, y que los clientes suelen usar los chips en conjunto con Nvidia.
El Chip Corsair Enfrenta Limitaciones con Modelos a Gran Escala
Rick Bahr, profesor adjunto de ingeniería eléctrica en la Universidad de Stanford, identificó una limitación significativa: si bien la SRAM en el chip habilita velocidades de inferencia notables porque los datos viajan distancias cortas, no puede manejar los billones de parámetros que hoy conforman modelos grandes de líderes como OpenAI y Anthropic. Bahr afirmó que esa cantidad de parámetros simplemente no puede ponerse en un diseño basado en SRAM.
El CEO de Nvidia Responde a las Afirmaciones sobre Competencia en Inferencia
El CEO de Nvidia, Jensen Huang, dijo la semana pasada que su empresa sigue siendo la líder en inferencia de bajo costo con su sistema Vera Rubin porque no se trata solo de velocidad. En Computex en Taiwán, Huang dijo que la razón es que Nvidia integra todo, diseña todo desde cero, simula todo el sistema y utiliza un co-diseño extremo. Nvidia lanzó un nuevo chip Groq en GTC en marzo, llamado unidad de procesamiento de lenguaje.
D-Matrix Envía Tarjetas de Cuatro Chips Basadas en el Proceso de 6 Nanómetros de TSMC
D-Matrix vende cuatro chips Corsair empaquetados juntos dentro de una tarjeta que se desliza en ranuras en un rack de servidor de un centro de datos y cuesta decenas de miles de dólares. Sheth calificó a Corsair como la solución de SRAM más densa del mercado hoy, con hasta 128 gigabytes de memoria SRAM en un solo servidor. El chip se fabrica en Taiwán en el nodo de 6 nanómetros de TSMC.
D-Matrix se asoció con Arista, Broadcom y Super Micro para construir un sistema completo a escala de rack llamado SquadRack para desplegar sus chips en centros de datos de IA. El siguiente chip de la compañía, Raptor, está programado para lanzarse el próximo año en TSMC de 4 nanómetros, lo que Sheth dijo que podría salir de la fábrica de la empresa en Arizona.
FAQ
¿Qué afirmaciones de rendimiento hace D-Matrix para su chip Corsair?
D-Matrix afirma que su chip Corsair puede ejecutar cargas de trabajo de inferencia 10 veces más rápido y usando cinco veces menos energía que una GPU Nvidia independiente para cargas pequeñas. Cuando se combina con una GPU Nvidia Blackwell, citando investigación de Gimlet Labs, Corsair puede ejecutar inferencia 10 veces más rápido, 3 veces más barata y hasta cinco veces más eficientemente en energía que una GPU independiente.
¿Cuáles son las limitaciones técnicas del enfoque de D-Matrix basado en SRAM?
Según Rick Bahr, profesor adjunto de ingeniería eléctrica en la Universidad de Stanford, el diseño basado en SRAM no puede manejar los billones de parámetros que conforman modelos grandes de líderes como OpenAI y Anthropic. Si bien la SRAM en el chip habilita velocidades de inferencia notables, esa cantidad de parámetros simplemente no puede ponerse en un diseño basado en SRAM.
¿Cuándo empieza D-Matrix a enviar chips Corsair a los clientes?
D-Matrix comienza a enviar chips Corsair a los clientes este mes. La compañía tiene compromisos con hiperscalers, neoclouds y laboratorios de IA de frontera, con alrededor del 90% de los clientes en EE. UU. y clientes en el extranjero en Oriente Medio y el Sudeste Asiático.
