Sakana AI e Nvidia alcançam inferência do H100 30% mais rápida, pulando 80% dos cálculos inválidos

Sakana AI e Nvidia disponibilizaram TwELL em código aberto, um formato de dados esparso que permite que as GPUs H100 ignorem 80% das computações inválidas em grandes modelos de linguagem sem comprometer a precisão. A solução oferece até 30% mais velocidade na inferência e 24% mais rapidez no treinamento nas H100, ao mesmo tempo em que reduz o uso máximo de memória. Em testes em um modelo de 1,5 bilhão de parâmetros, a abordagem reduziu os neurônios ativos para abaixo de 2% por meio de regularização leve durante o treinamento, sem degradação de desempenho em sete tarefas downstream.

Aviso: As informações nesta página podem ser provenientes de terceiros e não representam as opiniões ou pontos de vista da Gate. O conteúdo exibido nesta página é apenas para referência e não constitui aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou integridade das informações e não será responsável por quaisquer perdas decorrentes do uso dessas informações. Os investimentos em ativos virtuais apresentam altos riscos e estão sujeitos a uma volatilidade de preços significativa. Você pode perder todo o capital investido. Por favor, compreenda completamente os riscos envolvidos e tome decisões prudentes com base em sua própria situação financeira e tolerância ao risco. Para mais detalhes, consulte o Aviso Legal.
Comentário
0/400
Sem comentários