MITライセンスと1.6Tパラメータを備えたDeepSeekのV4オープンソースモデルシリーズをリリース

ゲートニュース速報、4月24日—DeepSeekは、MITライセンスのもとでオープンソースのV4シリーズモデルをリリースしました。重みは現在Hugging FaceおよびModelScopeで利用可能です。このシリーズには2つのモーダル・エキスパート (MoE)モデルが含まれています。V4-Proは総パラメータ1.6兆で、1トークンあたり490億が有効化され、V4-Flashは総パラメータ2840億で、1トークンあたり130億が有効化されます。両方とも1,000,000トークンのコンテキストウィンドウをサポートします。

アーキテクチャには3つの重要なアップグレードがあります。圧縮されたスパース注意 (CSA) と大幅に圧縮された注意 (HCA) を組み合わせたハイブリッド注意メカニズムにより、ロングコンテキストのオーバーヘッドを大幅に削減—V4-Proの1Mコンテキストにおける推論FLOPsはV3.2のわずか27%であり、推論中に歴史情報を格納するためのKVキャッシュ (VRAM) はV3.2の10%にとどまります。従来の残差接続に代わり、層間の信号伝播の安定性を高めるマニフォールド制約付きハイパーコネクション (mHC)。そして、より速い学習収束のためのMuonオプティマイザです。事前学習では32兆トークン以上のデータを使用しました。

事後学習は2段階のアプローチを採用します。まず、教師あり微調整 (SFT) とGRPO強化学習によりドメイン固有のエキスパートを訓練し、その後オンライン蒸留によってそれらを単一モデルに統合します。V4-Pro-Max (最高推論モード)は、トップクラスのコーディングベンチマークを備え、推論およびエージェントタスクにおけるクローズドソースのフロンティアモデルとのギャップを大幅に縮めた、最強のオープンソースモデルであると主張しています。V4-Flash-Maxは、十分な計算予算がある場合にProレベルの推論性能を実現しますが、純粋な知識および複雑なエージェントタスクにおいてはパラメータ規模によって制約を受けます。重みは混合精度のFP4+FP8で保存されます。

免責事項:このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は免責事項をご参照ください。

関連記事

OpenAIのグレッグ・ブロックマン:AIはチャットから自律的なタスク実行へ移行

ゲートニュース記事(4月27日)— OpenAIの社長兼共同創業者であるグレッグ・ブロックマンは、次の波の人工知能は、AIボットとチャットするだけの状態から、現実世界のタスクを割り当てることへユーザーを移行させると述べた。 この変化には、企業が業務運用のワークフローを再考し、セキュリティ、管理、コストに関する新しいプロトコルを確立することが必要となる。このため、企業は業務運用のワークフローを再考し、セキュリティ、管理、コストに関する新しいプロトコルを確立する必要がある。

GateNews10分前

B.AIがインフラをアップグレードし、大規模なスキル機能をローンチ

Gate Newsメッセージ、4月27日—B.AIは今週、複数のプロダクトおよびエコシステムの進展を発表しました。BAIclawのランディングページは、完全なビジュアルおよびインタラクションの刷新を受け、Webサイトの多言語対応は10言語に拡張され、グローバルな利用性が強化されました。 インフラ面では

GateNews24分前

北京は取引の撤回を求める禁止令を要求!Metaは20億米ドルを投じて中国のAI新興企業Manusを買収する計画が頓挫

中国国家発展改革委員会は本日(4月27日)正式に公告を発表し、外資投資の安全保障審査作業メカニズム弁公室が「法に依拠し規則に従って、外資によるManusプロジェクトの買収に対し投資禁止の決定を下し、当事者に当該買収取引を取り消すことを求める」ことを明らかにした。これは、中国の「外商投資安全審査弁法」の施行以来、少数ながら最高強度で「投資禁止」を発動し、既成の取引の取り消しを求めた事例である。 Metaが20億ドルを投じ、最も安いAIアプリケーションを買い入れる 時間を2025年12月29日に戻す。Metaは、中国のAIエージェント新興企業Manusを買収すると発表し、市場予想では価格は20億〜30億ドルの範囲に収まると見られていた。Manusは北京蝴蝶效應科技開発の汎用型AIで、2025年3月6日にローンチされた後、GAIAベンチマークのパフォーマンスが目覚ましく、一夜にして

ChainNewsAbmedia38分前

Xizhi Technology-PのIPO株がグレーマーケットで360%以上急騰、上昇幅は320%に縮小

ゲートニュース 4月27日—香港上場のAIチップ企業であるXizhi Technology-P (01879.HK)の株価は、本日早く、グレーマーケット (dark market)で360%以上急騰したが、その後は上昇幅が320%に縮小した。 同銘柄は、公式な香港IPO上場の前に取引されている

GateNews51分前

AIで生産性を高めるべきか、それともコストを下げるべきか?100倍の効率は100倍の売上に結びつかなかったが、シリコンバレーでは誰も止めようとは言えない

五源キャピタルのパートナーである孟醒氏は、近日シリコンバレー視察レポートを発表し、彼自身がメモを取る習慣まで変えてしまうような判断を提示しました。それは、シリコンバレーが「波を起こす人でさえも波に飲まれてしまう」段階に入っているということです。AI の反復速度は「月単位」から「週単位」へとすでに変わっており、シリコンバレーの自分自身でさえ自分の変化についていけないのです。 AI がチームの生産性を 5 倍に増幅できるなら、8 割の人員を減らして従来の産出を維持することもできますし、人員数を維持して 5 倍のことを行うこともできます。孟醒氏が今回現地で行った観察は、答えの初稿をその場で示したのと同じです。100 倍の効率が 100 倍の売上につながらないとき、token の予算が人件費に近づいてくるとき、蒸気機関は馬車に勝てないのに誰も止める決断ができないとき、シリコンバレーが今選んでいるのは「まず速度を上げていこう」という道です。しかしこの道は最終的に「拡張能力」へ向かうのか、それとも「コスト圧縮」へ向かうのか、現時点では結論が出ていません。 YC は先行指標から遅行指標へ 孟醒氏は今年

ChainNewsAbmedia1時間前
コメント
0/400
コメントなし