Sakana AI та Nvidia досягають на 30% швидшого виведення на H100, пропускаючи 80% некоректних обчислень

Sakana AI та Nvidia оприлюднили з відкритим кодом TwELL — розріджений формат даних, який дає змогу GPU H100 пропускати 80% невалідних обчислень у великих мовних моделях без втрати точності. Рішення забезпечує до 30% швидшого виведення та на 24% швидшого навчання на H100, водночас зменшуючи пікове споживання пам’яті. Під час тестування на моделі з 1,5 мільярда параметрів підхід знизив активні нейрони до менш ніж 2% завдяки легкій регуляризації під час навчання, не спричинивши погіршення продуктивності на семи подальших завданнях.

Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до Застереження.
Прокоментувати
0/400
Немає коментарів