Segundo a Beating, a Nous Research disponibilizou Lighthouse Attention em código aberto, um mecanismo de treino para contextos longos que atinge uma aceleração de 17x no processamento de texto com 512K de comprimento numa única GPU B200, e uma aceleração de treino de ponta a ponta de 1,4–1,7x no comprimento de 98K. A técnica utiliza uma abordagem de coarse-to-fine: primeiro faz a varredura de resumos comprimidos em diferentes níveis para identificar segmentos essenciais e, em seguida, passa o texto filtrado ao FlashAttention para processamento. Em testes num modelo com 5,3 mil milhões de parâmetros treinado em 50 mil milhões de tokens, a abordagem não só reduziu o tempo de treino como também igualou ou superou o desempenho de base do treino totalmente assente em atenção.
Related News
A OpenAI adiciona a deteção de conversas em risco no ChatGPT, melhorando a capacidade de alertas para violência autoinfligida
O TAO da Bittensor sobe acima dos 300 dólares com a procura por criptomoeda de IA em alta
Especialistas afirmam que as provas Zk dão às DePINs uma vantagem à medida que aumenta a procura de confiança na IA