6月1日に、GitHub Copilotは1リクエストごとの課金からトークンベースの価格設定に切り替わり、大量利用者の月額請求が10倍超に跳ね上がりました。ユーザーが共有した内部のコスト見積もりによれば、ある開発者の月額料金は$44.68から$754.29へ増加する見込みで、別の人は月額$847の追加請求が発生する可能性があると報告しています。
CoinbaseのCEOであるブライアン・アームストロングは、12〜18か月以内にAIワークロードの80%が、現行の最先端モデルより99%安いコストのモデルへ移行すると予測しました。また、科学的ブレークスルーのような高度なタスクのうち、最先端のAPIに依存したまま残るのは20%だけだと述べています。アームストロングは、Coinbaseがプロンプトルーティングの戦略を導入しており、トークン消費が指数関数的に増えても、総コストを安定させながら、リクエストをより低コストのモデルに動的に割り当てるとしています。
