Sakana AI и Nvidia открыли исходный код TwELL — разреженного формата данных, который позволяет GPU H100 пропускать 80% недопустимых вычислений в больших языковых моделях без потери точности. Решение обеспечивает до 30% более быстрый инференс и 24% более быстрое обучение на H100, одновременно снижая пиковое потребление памяти. В тестах на модели с 1,5 миллиарда параметров подход сократил число активных нейронов до менее 2% за счёт лёгкой регуляризации во время обучения, при этом не наблюдалось ухудшения производительности на семи последующих задачах.
Related News
NVIDIA открывает долгосрочного партнёра по ИИ Deepinfra — 107 млн долларов серии B для создания «фабрики токенов»
Появилась экосистема Space Computing от NVIDIA: Space-1 Vera Rubin отправляет мощность ИИ уровня дата-центров в космос
Уолл-стрит «смена поколений AI-чипов»: Intel/AMD +25%, Micron +37%, NVIDIA отстаёт