A Xiaomi revela detalhes do treino do MiMo-V2-Pro: parâmetros do modelo 1T, milhares de GPUs implementadas

Mensagem do Gate News, 24 de Abril — A responsável da equipa de modelos de linguagem da Xiaomi, Luo Fuli, revelou numa entrevista aprofundada que o modelo MiMo-V2-Pro tem, no total, 1 bilião de parâmetros e que foram necessários milhares de GPUs para o treino. Ela referiu que a escala de 1T representa o limiar mínimo para obter desempenho a aproximar-se do nível do Claude Opus 4.6 e garantir um bilhete de entrada competitivo para a próxima fase dos agentes de IA.

Tecnicamente, a versão Pro utiliza um mecanismo de atenção esparsa extrema, com uma proporção de 7:1 entre a atenção global e a atenção por janela deslizante, controlando os custos de inferência para o processamento de longos contextos. O modelo mantém também a arquitectura MTP (Multi-Token Prediction) para aproveitar o poder de computação excedente e acelerar a inferência.

Do lado da gestão, a equipa MiMo, com 100 pessoas, tem apenas 30-40 indivíduos directamente envolvidos nas iterações centrais. A equipa opera sem hierarquias formais ou divisões explícitas em subgrupos e sem prazos de entrega. Quando se depara com problemas numéricos instáveis, como picos de perda durante o treino, a equipa dá prioridade a interromper o treino para investigação, mesmo que isso signifique parar as operações durante uma ou duas semanas e incorrer em milhões de dólares de custos de computação.