Beatingによると、Microsoftは最近、コンピューター画面上でAIがどこをクリックすべきかという問題を解決するために設計されたPhi-Groundモデルファミリーをオープンソース化しました。4 billionパラメータ版は、指示の計画のためのより大きな言語モデルと組み合わせることで、ShowdownベンチマークにおいてOpenAI OperatorやClaude Computer Useのクリック精度を上回り、ScreenSpot-Proを含む5つの評価のすべてで、サブ100-billion-parameterの全モデルの中で1位にランクインしました。
チームは40 million以上のデータサンプルで学習を行い、学術論文で用いられている3つの一般的な学習手法が、大規模化すると効果がなくなることを見出しました。主要なアプローチはシンプルでした。座標を通常の数値として出力することで、「523, 417」のようにします。これまでの研究では、座標のための専用の位置語彙が考案されていましたが、これはスケールしませんでした。さらにチームは、画像の前にテキストの指示を置くと性能が向上することも発見しました。モデルはピクセルを処理する際に目標を識別できるためです。加えて、DPOのような強化学習手法は、微調整後であっても精度を改善しました。
