A Nous Research disponibiliza em código aberto o Lighthouse Attention com um aumento de desempenho de 17x no B200 para contexto de 512K

Segundo a Beating, a Nous Research disponibilizou Lighthouse Attention em código aberto, um mecanismo de treino para contextos longos que atinge uma aceleração de 17x no processamento de texto com 512K de comprimento numa única GPU B200, e uma aceleração de treino de ponta a ponta de 1,4–1,7x no comprimento de 98K. A técnica utiliza uma abordagem de coarse-to-fine: primeiro faz a varredura de resumos comprimidos em diferentes níveis para identificar segmentos essenciais e, em seguida, passa o texto filtrado ao FlashAttention para processamento. Em testes num modelo com 5,3 mil milhões de parâmetros treinado em 50 mil milhões de tokens, a abordagem não só reduziu o tempo de treino como também igualou ou superou o desempenho de base do treino totalmente assente em atenção.

Isenção de responsabilidade: As informações contidas nesta página podem ser provenientes de terceiros e não representam os pontos de vista ou opiniões da Gate. O conteúdo apresentado nesta página é apenas para referência e não constitui qualquer aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou o carácter exaustivo das informações e não poderá ser responsabilizada por quaisquer perdas resultantes da utilização destas informações. Os investimentos em ativos virtuais implicam riscos elevados e estão sujeitos a uma volatilidade de preços significativa. Pode perder todo o seu capital investido. Compreenda plenamente os riscos relevantes e tome decisões prudentes com base na sua própria situação financeira e tolerância ao risco. Para mais informações, consulte a Isenção de responsabilidade.
Comentar
0/400
Nenhum comentário