Сообщение Gate News, 24 апреля — DeepSeek выпустила серию моделей V4 с открытым исходным кодом под лицензией MIT; веса теперь доступны на Hugging Face и ModelScope. В серии есть две модели (MoE) с экспертами-смесителями: V4-Pro с 1,6 трлн общих параметров и 49 млрд активируемых на токен, и V4-Flash с 284 млрд общих параметров и 13 млрд активируемых на токен. Обе поддерживают контекстное окно в 1 млн токенов.
Архитектура включает три ключевых улучшения: гибридный механизм внимания, сочетающий сжатое разреженное внимание (CSA) и сильно сжатое внимание (HCA), что существенно снижает издержки для длинного контекста — FLOPs инференса V4-Pro для контекста 1M составляют всего 27% от V3.2, а KV-кэш (VRAM для хранения исторической информации во время инференса) равен лишь 10% от V3.2; manifold-constrained гиперсвязи (mHC) вместо традиционных residual-связей для повышения устойчивости распространения сигнала между слоями; и оптимизатор Muon для более быстрой сходимости обучения. Предобучение использовало более 32 трлн токенов данных.
Постобучение применяет двухэтапный подход: сначала обучение предметно-ориентированных экспертов с помощью supervised fine-tuning (SFT) и reinforcement learning через GRPO, затем объединение их в единую модель посредством онлайн-дистилляции. V4-Pro-Max (highest inference mode) заявляет, что это самая сильная открытая модель с топовыми бенчмарками по кодированию и существенно сократившимися разрывами с закрытыми моделями фронтира по задачам рассуждения и агентным задачам. V4-Flash-Max достигает уровня рассуждений Pro при достаточном вычислительном бюджете, но ограничена масштабом параметров в чисто знаниях и сложных агентных задачах. Веса хранятся в смешанном формате точности FP4+FP8.
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
Связанные статьи
Meta Platforms Планирует Сокращение Штата На 10% 20 Мая, Затронув Примерно 8 000 Должностей
Сообщение Gate News, 24 апреля — Meta Platforms планирует сократить штат примерно на 10%, затронув около 8 000 должностей, 20 мая. Увольнения предназначены для повышения операционной эффективности при одновременном увеличении инвестиций в искусственный интеллект.
Запланированная реорганизация отражает то, что
GateNews20м назад
Правительство Трампа объявило план по борьбе с AI-экстракцией и переработкой, обвиняя китайские компании в систематическом похищении возможностей моделей
Официальный помощник президента Управления по научно-технической политике Белого дома (OSTP) Майкл Дж. Крацйос (Michael J. Kratsios) 23 апреля сделал официальное заявление, в котором указал, что администрация Трампа располагает информацией, свидетельствующей о том, что иностранные структуры (в основном расположенные в Китае) намеренно нацелены на крупные американские компании в сфере искусственного интеллекта, систематически извлекают возможности американских AI-моделей с помощью «десятков тысяч прокси-аккаунтов» и систем взлома (jailbreak), а также одновременно объявили о четырех мерах реагирования.
MarketWhisper42м назад
DeepSeek выпускает V4 open-source preview, технический рейтинг 3206 превзошёл GPT-5.4
DeepSeek 24 апреля официально запустила серию предварительных версий V4, выпущенную с открытым исходным кодом по лицензии MIT; веса модели также были одновременно размещены на Hugging Face и ModelScope. Согласно техническому отчету DeepSeek V4, V4-Pro-Max (режим с максимальной вычислительной/инференс-усиленной мощностью) набрала 3206 баллов на бенчмарке Codeforces, превзойдя GPT-5.4.
MarketWhisper58м назад
Cambricon завершает адаптацию Day 0 DeepSeek-V4, отмечая веху для экосистемы ИИ-чипов в Китае
Сообщение Gate News, 24 апреля — сегодня Cambricon объявила о завершении адаптации Day 0 для DeepSeek-V4, новейшей крупной языковой модели от DeepSeek, с использованием ее собственной программной экосистемы NeuWare и фреймворка vLLM. Код адаптации был одновременно опубликован с открытым исходным кодом, отмечая
GateNews1ч назад
Tencent выпустила в открытый доступ Hy3 в предварительной версии; базовые тесты кода улучшены на 40% по сравнению с предыдущим поколением
Tencent 4月23日在 GitHub、Hugging Face 以及 ModelScope 平台正式开源 Hy3 预览版大型语言模型，并同步在腾讯云（Tencent Cloud）提供付费 API 服务。据 Decrypt 于 4月24日 报道，Hy3 预览版自 1月下旬启动训练，截至发布日历时不足三个月。
MarketWhisper1ч назад
Инвестиции FTX в портфель на сумму 158 триллионов вон, если бы компания не обанкротилась
FTX, централизованная криптовалютная биржа, которая подала заявление о защите от банкротства по главе 11 в ноябре 2022 года из-за дефицита ликвидности и оттока капитала, согласно анализу, на который ссылается Пак, при условии, что она не обрушилась бы, удерживала бы инвестиции, оцененные примерно в 158.796 трлн вон.
CryptoFrontier1ч назад
