Sakana AI e Nvidia alcançam uma inferência H100 30% mais rápida ao ignorar 80% dos cálculos inválidos

A Sakana AI e a Nvidia disponibilizaram em open source o TwELL, um formato de dados esparso que permite que as GPUs H100 saltem 80% dos cálculos inválidos em modelos de linguagem grandes sem comprometer a precisão. A solução proporciona até 30% de inferência mais rápida e 24% de treino mais rápido nas H100, ao mesmo tempo que reduz o uso de memória de pico. Em testes num modelo com 1,5 mil milhões de parâmetros, a abordagem baixou os neurónios ativos para menos de 2% através de regularização leve durante o treino, sem degradação de desempenho em sete tarefas downstream.

Isenção de responsabilidade: As informações contidas nesta página podem ser provenientes de terceiros e não representam os pontos de vista ou opiniões da Gate. O conteúdo apresentado nesta página é apenas para referência e não constitui qualquer aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou o carácter exaustivo das informações e não poderá ser responsabilizada por quaisquer perdas resultantes da utilização destas informações. Os investimentos em ativos virtuais implicam riscos elevados e estão sujeitos a uma volatilidade de preços significativa. Pode perder todo o seu capital investido. Compreenda plenamente os riscos relevantes e tome decisões prudentes com base na sua própria situação financeira e tolerância ao risco. Para mais informações, consulte a Isenção de responsabilidade.
Comentar
0/400
Nenhum comentário