Novo AutomationBench-AA da Zapier revela que as proteções de conformidade reduziram pela metade as pontuações dos principais modelos de IA

De acordo com o monitoramento da Beating, a Zapier e a Artificial Analysis lançaram o AutomationBench-AA, um benchmark independente de automação de fluxo de trabalho SaaS baseado em dados reais anonimizados da plataforma Zapier. O benchmark compreende 657 tarefas de várias etapas e 40 ambientes SaaS simulados, incluindo Gmail, Slack, Salesforce e Jira.

Crucialmente, o benchmark impõe barreiras de conformidade rigorosas: qualquer violação das regras de negócios empresariais predefinidas zera automaticamente a pontuação final da tarefa. Na avaliação inicial, todos os modelos viram suas pontuações despencarem devido às penalidades de conformidade. O Claude Fable 5 completou 73% das tarefas, mas obteve apenas 48,6% de pontuação final; o Gemini 3.5 Flash e o GPT-5.5 completaram aproximadamente 68% e 67% das tarefas, respectivamente, mas pontuaram 42,6% e 42,1%. O GLM-5.2 de código aberto pontuou 27,8%.