Nous Research відкриває код Lighthouse Attention з прискоренням у 17 разів на B200 для контексту 512K

Згідно з Beating, Nous Research оприлюднила Lighthouse Attention із відкритим кодом — механізм тренування для довгого контексту, який забезпечує 17-кратне прискорення обробки тексту довжиною 512 тис. на одному GPU B200, а також 1,4–1,7-кратне прискорення тренування «кінець-у-кінець» для довжини 98 тис. Техніка використовує підхід coarse-to-fine: спочатку вона сканує стиснені підсумки на різних рівнях, щоб визначити ключові сегменти, а потім передає відфільтрований текст у FlashAttention для обробки. У тестах на моделі з 5,3 мільярда параметрів, натренованій на 50 мільярдів токенів, підхід не лише скоротив час тренування, а й досягав або перевищував базову продуктивність тренування з повною увагою.

Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до Застереження.
Прокоментувати
0/400
Немає коментарів