Sakana AI и Nvidia добиваются на 30% более быстрого вывода на H100, пропуская 80% недействительных вычислений

Sakana AI и Nvidia открыли исходный код TwELL — разреженного формата данных, который позволяет GPU H100 пропускать 80% недопустимых вычислений в больших языковых моделях без потери точности. Решение обеспечивает до 30% более быстрый инференс и 24% более быстрое обучение на H100, одновременно снижая пиковое потребление памяти. В тестах на модели с 1,5 миллиарда параметров подход сократил число активных нейронов до менее 2% за счёт лёгкой регуляризации во время обучения, при этом не наблюдалось ухудшения производительности на семи последующих задачах.

Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к Отказу от ответственности.
комментарий
0/400
Нет комментариев