AMD MI355X atinge inferência GLM 5.2 a metade do custo da NVIDIA B200

De acordo com a Wafer, uma startup especializada em otimização de inferência, os chips AMD MI355X a executar o mais recente modelo de código aberto GLM 5.2 alcançaram custos de inferência aproximadamente metade dos da GPU principal da NVIDIA, a B200, entregando cerca de 80% do desempenho. Os testes mostraram uma taxa de transferência agregada de nó único de 2.626 tokens por segundo, com uma taxa de transferência de fluxo único a atingir 213 tokens por segundo. A otimização recorreu a técnicas de software, incluindo quantização de modelos, seleção de motores de inferência e correções de compatibilidade ROCm, em vez de hardware personalizado.

Um relatório separado da SemiAnalysis confirmou resultados semelhantes, citando custos de inferência do AMD MI355X de $0,22 por milhão de tokens em cenários interativos, abaixo dos $0,30 da NVIDIA B200. No entanto, a vantagem da AMD permanece principalmente em implementações de nó único; a NVIDIA mantém uma vantagem significativa em sistemas distribuídos de vários nós e aplicações de grande escala.