A Model Routing surge como solução para controlo de custos da IA empresarial, pressionando a OpenAI e a Anthropic

De acordo com a CNBC, líderes de IA, incluindo Scott Wu, CEO da Cognition, e Jeetu Patel, CPO da Cisco, revelaram esta semana que o routing de modelos — uma solução que encaminha tarefas para os modelos de IA mais adequados com base na complexidade — está a tornar-se uma disciplina-chave de custos na América corporativa.

Atualmente, cerca de 95% do uso empresarial de IA recorre por defeito a modelos frontier caros mesmo para tarefas rotineiras, segundo Arvind Jain, CEO da Glean. O routing de modelos poderia proporcionar uma eficiência de custos 5 a 10 vezes melhor em trabalho “boilerplate” recorrendo a alternativas mais baratas. A análise de custos da Cisco sublinha a pressão: com utilização a 200 dólares por token por empregado, semanalmente, a empresa enfrenta cerca de 900 milhões de dólares de despesas anuais com IA para os seus 90 000 empregados. Se as empresas passarem cada vez mais a encaminhar tarefas fáceis e de elevado volume para modelos mais baratos ou de código aberto, a OpenAI e a Anthropic receberiam pagamento apenas pelo trabalho complexo, o que poderá remodelar os modelos de preços em que ambas as empresas basearam as suas avaliações.