ゲートニュース、4月24日 — V4はV4-Proモデルについて、内部ドッグフーディングのデータを公表しました。同社は、50人超のエンジニアから約200件の実世界のエンジニアリング課題を収集し、PyTorch、CUDA、Rust、C++を含む技術スタック全体にわたる機能開発、バグ修正、リファクタリング、診断をカバーしています。厳格なフィルタリングの結果、ベンチマーク評価には30件の課題が残されました。
V4-Pro-Maxは67%のコーディング合格率を達成し、Sonnet 4.5の47%を大きく上回り、Opus 4.5の70%に接近しました。ただしOpus 4.5 Thinking (73%)およびOpus 4.6 Thinking (80%)には及ばず、一方でHaiku 4.5の13%を大幅に上回っています。
社内アンケートで85人が回答し、全参加者が日常のワークフローにおけるエージェント型コーディングにV4-Proを使用していると報告しました。52%がV4-Proをデフォルトの主要コーディングモデルとして支持し、39%が承認に傾き、9%未満が不賛成を表明しました。報告された課題には、低レベルのエラー、曖昧なプロンプトの誤解、そして時折見られる過剰な考え込み行動が含まれていました。
Related News
