AMD выпустила полностью открытую модель Instella-MoE на 16 млрд параметров 25 июля

AMD-3,29%
Согласно BlockBeats, AMD выпустила полностью open-source (с открытым исходным кодом) модель mixture-of-experts (MoE) Instella-MoE 25 июля. Модель включает 16 млрд общих параметров и задействует 2,8 млрд параметров на токен. Базовая модель набрала средний балл 76,7, заняв место среди ведущих открытых языковых моделей и обойдя SmolLM3-3B и OLMo-3-7B. Instella-MoE обучалась на GPU AMD Instinct MI300X и MI325X с использованием стека ПО ROCm и поддерживает контекстную длину до 64K токенов. AMD публично выкладывает все веса моделей, конфигурации обучения, распределения данных, промежуточные контрольные точки и код для инференса, чтобы продвигать исследования открытых моделей ИИ.
Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.
комментарий
0/400
Нет комментариев