O modelo ternário de 1,58 bits executado no Ascend 910B, com a memória reduzida para um sexto do BF16, ainda consegue manter mais de 95% de precisão, tornando a implantação de borda finalmente viável.

Ver original
MeNews
Primeiro grande modelo de código aberto de 1,58 bits treinado com toda a pilha usando o NPU Ascend 910B da Huawei, BitCPM-CANN, lançado
BitCPM-CANN由ModelBest、清华与OpenBMB社区联合发布,全球首个在昇腾910B NPU上训练的开源1.58比特三元大模型。采用三态权重极低比特量化,内存较BF16缩减约6倍,适配手机、电脑、车载等边缘装置。训练栈全原生于昇腾,0.5B–8B家族在多项基准达到95–97%全精度性能,落地部署更具可行性。
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado