Ces dix dernières années, la méthode la plus simple et brutale pour mesurer les progrès de l'intelligence artificielle était de donner une question au modèle, de comparer la réponse à une réponse standard, et de noter. Mais cette approche est désormais obsolète.

L'identité de l'IA a changé. Elle n'est plus une machine passive répondant à des questions, mais un acteur capable d'agir de manière proactive. Elle planifie ses itinéraires, utilise diverses outils, et continue à faire des jugements dans des tâches complexes — la nouvelle génération d'IA prend peu à peu le relais des tâches autrefois effectuées par l'humain.

La question qui en découle est la suivante : puisque l'IA ne se limite pas à sortir une phrase, mais réalise une tâche complète, peut-on encore l'évaluer selon un standard d'examen « vrai ou faux » ?

Imaginez une tâche sans solution unique. L'IA utilise une méthode inattendue mais plus efficace pour la résoudre. Selon les méthodes d’évaluation traditionnelles, cela serait considéré comme un échec. Mais dans la réalité ? L'objectif est atteint. Ce n'est pas seulement une question de détails techniques, mais aussi un problème systémique — la façon dont vous évaluez l'IA détermine si elle a vraiment appris à résoudre des problèmes ou si elle se contente d'apprendre à plaire aux règles.

C'est pourquoi la communauté de la recherche en IA s'est mise d'accord : il ne faut pas se concentrer uniquement sur le résultat, mais aussi sur le processus. Les dernières recherches et expériences pratiques convergent toutes vers une même direction — l’évaluation ne peut pas se limiter à une seule réponse, il faut examiner toute la chaîne d’actions. Comment l’IA comprend la tâche, comment elle décompose les étapes, quand elle doit faire appel à des outils, et si elle peut ajuster sa stratégie en fonction de l’environnement — ce sont là les véritables aspects à observer.