Mac Studio запуск великомасштабних моделей: очікування від M3 Ultra, кластерного рішення та M5 Ultra

2026 年 4 月, DeepSeek V4 Pro, Kimi K2.6 等 1 兆參數級模型相繼釋出, 把「在自家機器跑前沿開源 LLM」這件事變成可行選項。對不想自建 H100 工作站, 又想擁有完整本地推論能力的工程師與小型團隊, Mac Studio M3 Ultra 256GB 是現階段最具性價比的單機方案, 搭配 Thunderbolt 5 集群更可上探 1T 參數的領域。本文整理 M3 Ultra 跑大模型的實測數據, 集群方案, MLX 框架優勢, 以及 M5 Ultra 預期時程。

M3 Ultra 規格現況：256GB 統一記憶體、819 GB/s 頻寬

截至 2026 年 4 月, Mac Studio 最高階 SKU 仍為 M3 Ultra, 配置上限為 32 核 CPU, 80 核 GPU, 256GB 統一記憶體, 819 GB/s 記憶體頻寬。Apple 跳過了 M4 Ultra 世代—市面上沒有 M4 Ultra Mac Studio, 這是常見誤會。M5 Ultra 預期於 2026 年 WWDC（6 月 8-12 日）發表, 但根據 Bloomberg Mark Gurman 4/19 報導, 受供應鏈瓶頸影響, 可能延後至 10 月。

對 LLM 推論而言, 「統一記憶體」是 Mac Studio 最大的差異化優勢。GPU 與 CPU 共享同一塊 DRAM, 模型權重不需要在 PCIe 上來回搬移; 相對於 NVIDIA H100 的 80GB HBM3 + 主機板 DDR5 雙層架構, Mac Studio 的 256GB 統一池可裝下完整 405B Q4 量化模型, 省去多卡協同的複雜度。

Llama 3.1 405B：256GB 機型 Q4 量化可單機跑

Meta Llama 3.1 405B 經過 4-bit 量化後約 235GB, 正好在 256GB Mac Studio M3 Ultra 的記憶體預算內, 可以完整載入單機進行推論。實測 token 生成速度落在每秒 5–10 tokens 區間（依 prompt 長度與 batch size 而異）, 雖然遠不及 H100 集群的數百 tok/s, 但對「離線研究, 單人使用」場景已經夠用。

對照需求：若要做 production 服務, 需要併發吞吐量（例如同時服務 10+ 用戶）, Mac Studio 不適合, 仍需走 H100/H200 雲端方案。

DeepSeek V3 671B：單機跑不動, 必須走集群

DeepSeek V3（671B 總參數, 37B 活躍）量化後約 350-400GB, 已超出單台 Mac Studio 256GB 上限。可行方案是「8 台 M4 Pro Mac Mini 集群」—社群實測在 Thunderbolt 5 連接下達到 5.37 tok/s。雖然速度偏慢, 但證明 Apple Silicon 集群能支撐 600B+ 級模型。

對 DeepSeek V4 Pro（1.6T 總參數, 49B 活躍）而言, 量化後仍超出主流 Mac Studio 集群的記憶體總量, 需要更大規模的本地基礎建設或回到 Ollama Cloud／DeepSeek 自家 API 走雲端推論。

Kimi K2 Thinking 1T 參數：4 萬美元集群可達 25 tok/s

2026 年最具代表性的 Mac Studio 集群實驗是 Kimi K2 Thinking（1T 總參數）：4 台頂規 Mac Studio M3 Ultra（256GB 各台）, Thunderbolt 5 互連, 走 RDMA over Thunderbolt 協定, 總投資約 4 萬美元（約 NT$130 萬）, 在這套配置上跑出 25 tokens/s 的單請求推論速度。

這個數字的意義：4 萬美元的「最高階 Mac Studio 集群」與單張 NVIDIA H100（約 3 萬美元, 80GB HBM3）相比, 前者能跑 1T 參數的完整推論而後者跑不動; 但 H100 集群（4 張 = 12 萬美元）的吞吐量遠勝 Mac Studio 集群。選擇邏輯：研究級單人單請求 → Mac Studio；生產級多人多併發 → H100。

MLX 框架：< 14B 模型比 llama.cpp 快 20-87%

Apple 自家 MLX（Machine Learning eXchange）框架專為 Apple Silicon 統一記憶體與每核 GPU 內建的 Neural Accelerators 設計。社群實測顯示, 在 14B 參數以下的模型上, MLX 比 llama.cpp 快 20-87%。對 Llama 3 8B、Phi-4、Qwen 2.5 7B 這類常見「個人助理級」模型, MLX 是預設首選。

對更大的模型（30B+）, MLX 的優勢相對縮小, Ollama、llama.cpp 仍有自己的應用場景（生態系完整、社群活躍）。實務建議：小模型用 MLX、大模型用 Ollama／llama.cpp、超大模型走集群或雲端。

M5 Ultra 預期：1,100 GB/s 頻寬、6 月或 10 月發表

2026 年 4 月最新洩露指出, M5 Ultra 規格：32-36 核 CPU, 80 核 GPU, 256GB 統一記憶體（持平）, 約 1,100 GB/s 記憶體頻寬（提升 34%）。對 LLM 推論而言, 記憶體頻寬是決定 tok/s 的關鍵瓶頸—M5 Ultra 預期可在同樣的 256GB 容量下, 把 405B Q4 的單機推論速度推高 30% 以上。

時程觀察：

WWDC 2026（6 月 8-12 日）：最樂觀情境下首發

10 月：Bloomberg Mark Gurman 4/19 點名的「供應鏈延後」備案時點

目前 M3 Ultra 256GB 機型供應緊張：交期 10-12 週, 部分配置缺貨

對打算 5–6 月入手的買家：建議直接等 M5 Ultra 確認, 當前 M3 Ultra 256GB 的二手保值率受新品上市影響大。

買 Mac Studio vs 自建 GPU 工作站：兩條路徑取捨

同樣預算（NT$30-130 萬）, 兩條路的權衡：

面向 Mac Studio M3 Ultra 256GB 自建 GPU 工作站（RTX 5090×2 或 H100×1） 入門價格 ~ NT$30 萬 RTX 5090×2 ~ NT$25 萬；H100 ~ NT$80 萬+ 最大可跑模型 405B Q4（單機） RTX 5090×2: 70B-120B Q4；H100: 405B Q8 推論速度（70B Q4） 15-25 tok/s RTX 5090×2: 30-60 tok/s 耗電（典型推論） ~ 200W 800-1200W 噪音 幾乎無聲 伺服器級風扇噪音 最適場景 研究員、個人開發者、長期離線使用 小團隊 production、需要 fine-tuning

結論：個人單人用 Mac Studio、團隊多人用 GPU 工作站。Mac Studio 的優勢在於統一記憶體裝得下大模型、安靜、低耗電; GPU 工作站的優勢在於原生 CUDA 生態、多人才併發吞吐、可做訓練／微調。對 abmedia 多數讀者（個人開發者、研究者、AI 愛好者）而言, Mac Studio M3 Ultra 256GB 仍是 2026 年第二季最佳起步配置—除非你願意等 M5 Ultra。

這篇文章 Mac Studio 跑大模型實測：M3 Ultra、集群方案與 M5 Ultra 預期 最早出現於 鏈新聞 ABMedia。