Sakana AI と Nvidia は、H100 GPU が大規模言語モデルにおいて精度を損なうことなく不正確な計算の 80% をスキップできるようにする疎データ形式の TwELL をオープンソース化しました。この解決策は、H100 上で推論を最大 30% 高速化し、学習を 24% 高速化するとともに、ピーク時のメモリ使用量を削減します。1.50 億パラメータのモデルでのテストでは、この手法により学習中の軽量な正則化によってアクティブなニューロンが 2% 未満に抑えられ、7 つの下流タスクすべてで性能の低下は見られませんでした。
免責事項：このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は
免責事項をご参照ください。
