アメリカの企業は、CFOや取締役会が非効率なAIコストを取り締まる中、AIへの支出を管理するためにモデルルーティングを採用しつつある。この転換は、2年間にわたり複雑さにかかわらずすべての問い合わせに最も強力なAIモデルをデフォルトで使い続けた後に表面化した問題に対処するものだ。AIの請求額は現在、予算を大幅に上回っており、すべての作業にフロンティアモデルが必要なのかどうかを企業が問い始めている。モデルルーティングは、仕事に応じて適切なモデルを割り当て、複雑な問題には高価なフロンティア・システムを、日常的なタスクにはより安価な代替を向ける。こうした変更は、AI業界の価格設定の力学を再構築する可能性がある。
モデルルーティングはタスクをコストに見合うAIシステムへ割り当てる
モデルルーティングは、難しい問題を高価なフロンティアモデルに振り分け、簡単な作業はより安くて速い代替へ誘導するための手段だ。コーディングエージェントのDevinを作るCognitionのCEO、Scott Wuは、各タスクに対して適切さが保たれるモデルを使えば、日常業務で5〜10倍のコスト効率の向上を企業は達成できると述べた。Wuは、「モデルに米国の第3代大統領の名前を挙げさせる」例を示したが、各モデルはコストに関係なくThomas Jeffersonと答える。
GleanのCEO Arvind Jainは、企業のAI利用の約95%が、安価な代替で容易に処理できるようなタスクであっても、現在は最も高価なフロンティアモデルで動いていると見積もった。今週インタビューした経営陣によれば、多くの企業はまったくルーティングを行っていないという。
Cisco、9,000万ドル（年換算）ではなく年間9億ドルのAIコストを9万人の従業員に計上
CiscoのチーフプロダクトオフィサーであるJeetu Patelが、具体的なコスト数値を示した。従業員1人あたり週にトークン使用量で約$200となるため、年間の支出は1人あたり約$10,000に達する。Ciscoの9万人の従業員では、これが年間$900 millionに相当する。
Patelによれば、Ciscoは自社の予算を大きく上回る形になり、調整が必要になった。現在同社では、AIで書かれた製品を主に作る3万人のエンジニアがいる。Ciscoは、他の支出よりもトークンへの資源配分を優先している。
Cognition、1,000万ドルのAI生産性保証を導入
Cognitionは、投資対効果（ROI）に関する顧客の懸念を受けて、AIの生産性保証を発表した。Devinが、顧客が支払っている金額に対してエンジニアリング価値がそれより低い場合、Cognitionはパフォーマンスが期待に達するまで、利用に対する支払いを最大$10 millionまで負担する。Wuは、この保証を、消費されたトークンやコード行数のような活動指標ではなく、アウトプットに焦点を当てる方法だと位置づけた。
モデルルーティングへの移行は、OpenAIとAnthropicに対する圧力を生む。両社のビジネスモデルとIPOへの期待は、プレミアム価格での莫大な需要を前提としている。企業が大量の定型業務をより安価なオープンソースモデルへ振り向ければ、フロンティアの開発会社が支払いを受けるのは複雑なタスクに限られることになる。Patelは、最先端技術は価値を持ち続ける一方で、価格モデルは変わるはずだとし、単にもっと請求するのではなく、ラボ側が効率を高める必要があると予測した。
FAQ
AIシステムにおけるモデルルーティングとは何ですか？
モデルルーティングは、複雑さに基づいてタスクを適切なAIモデルに対応付けるための手段だ。難しい問題を高価なフロンティアモデルに送り、日常的なタスクはより安くて速い代替へ振り分ける。CognitionのScott Wuは、このアプローチを使うことで日常業務において5〜10倍のコスト効率の向上が可能だと述べた。
Ciscoは自社の従業員向けAIに年間いくら使っていますか？
Ciscoは、自社の9万人の従業員向けAIに年間約$900 millionを費やしている。CiscoのチーフプロダクトオフィサーであるJeetu Patelは、従業員1人あたり週に約$200分のトークン使用量だとして、この数値を算出した。これにより、年間で1人あたり約$10,000に相当する。
