PrismMLは今週初めにBonsai 27Bをリリースしました。3.9 GBに圧縮された270億パラメータのAIモデルで、iPhone 17 Pro Max上で毎秒11トークンで動作します。三値（ternary）バリアントは、スマートフォンのメモリ制約の範囲内に収めつつ、フル精度ベンチマーク性能の94.6%を維持しており、このクラスのモデルとして初めて、一般消費者向けデバイスのメモリ予算をクリアしたことを示します。Caltechの知的財産をベースにした圧縮方式により、各モデルの重みが16ビットから符号値1つに削減され、バイナリ・バリアントは1重みあたり1.125ビットとなります。フル精度の元のモデルより14分の1のサイズです。
圧縮技術によりモデルの重みを符号値に削減
圧縮方式は、各モデルの重みを16ビットの浮動小数点精度から1つの符号（バイナリ構築では+1または-1、三値バリアントでは3つの値のいずれか）へと削減します。重み128個ごとに16ビットのスケーリング係数を共有します。三値モデルでは、表現力をわずかに高めるためのゼロ状態が追加され、重みあたり1.71ビットに落ち着きます。三値バリアントは5.9 GBで、M5 Proラップトップ上で約毎秒26トークンに到達します。
高精度の脱出用回避策はありません。埋め込み（embeddings）、注意（attention）、そしてフルの言語モデルヘッドはすべてエンドツーエンドで圧縮されます。多くの量子化ビルドでは、特定の感度が高い層をフル精度のまま残してサイズが増える代わりに品質を高めますが、このモデルではそうした傾向はありません。モデルはハイブリッドな注意バックボーンを採用しており、層の約75%が完全な二次注意ではなく線形です。これにより、オンデバイスで262Kトークンのコンテキストウィンドウが現実的になります。
3月にPrismMLはBonsai 8Bを出荷しました。1.15 GBのモデルで、1ビット・アーキテクチャが80億パラメータでも耐えうることを示しました。両モデルはApache 2.0ライセンスで無料です。
ベンチマーク性能は15テストで平均80.49
NVIDIA H100 GPU上で思考モードにより評価した15のベンチマークにまたがって（知識、数学、コーディング、ツール利用を含む）、三値Bonsai 27Bは80.49を平均し、フル精度モデルの94.6%に相当します。1ビット・バリアントは76.11です。米国のAmerican Invitational Mathematics ExaminationをモデルにしたAIME25とAIME26では、三値Bonsai 27Bは95.3%のQwen 3.6Bに対し93.7%に留まります。Bonsaiはコーディングで86点（Qwen 3.6は88点）で、一般知識では77%（Qwen 3.6は83%）です。
PrismMLはモデルとともにDSparkの推論（speculative decoding）レイヤーを出荷します。これは軽量な下書き役（drafter）で、候補となるトークンのブロックを提案し、メインモデルはトークンを1つずつ生成するのではなく1回のフォワードパスでそれらを検証します。H100では出力品質を変えることなくスループットを1.37倍に高めます。Apple Siliconではまだデフォルトで有効化されていません。
実世界テストで機能するコードと創作執筆を生成
テストではBonsai 27BをZombie Typeというゾンビタイピングホラーのブラウザゲームで動作確認しました。2回のコーディングラウンドで、クリーンな当たり判定、適切なスコアリングロジック、そしてまとまりのあるグラフィックスが得られました。モデルは構造を早い段階で把握します。2回目のパスは作り直すのではなく洗練させます。いくつかのモデルは、GPT 5.6 Solのものよりも凝ったように見えました。
創作執筆では、Bonsaiは一貫した内部ロジック、テンポ、そしてプロットの流れを備えた物語を生成し、Claude Haiku相当、場合によっては同等のプロンプトでSonnetにも、より低い労力で並びます。ただしゼロショット・プロンプトでは、結果は特に想像力が高いわけではありません。
Appleがオンデバイス利用のための技術を評価
CNBCによると、Appleは基盤となる圧縮技術についてPrismMLと初期の協議を行っています。PrismMLのCEOであるBabak Hassibiは、CNBCに対し、同社がAppleと初期の協議をしており、圧縮技術を潜在的なオンデバイス利用に向けて評価していることを確認しました。Hassibiは、次にパイプラインへ進むのは圧縮されたGemmaモデルで、その後により大きいフロンティアモデルが続くと述べました。
よくある質問
PrismMLのBonsai 27Bモデルとは何ですか？
Bonsai 27Bは、3.9 GBに圧縮された270億パラメータのAIモデルで、iPhone 17 Pro Max上で毎秒11トークンで動作します。三値バリアントは、Caltechの知的財産をベースにした圧縮技術によりモデルの重みを符号値に削減することで、フル精度ベンチマーク性能の94.6%を維持します。
Bonsai 27Bはベンチマークでどのように性能を発揮しますか？
NVIDIA H100 GPU上で評価された15のベンチマークにおいて、三値Bonsai 27Bは80.49を平均し、フル精度モデルの94.6%に相当します。AIMEの数学テストでは93.7%、コーディング課題では86点、一般知識では77%を記録しており、比較可能なモデルよりも大幅に少ないメモリで動作します。
