За останні десять років спосіб оцінки прогресу штучного інтелекту був досить грубим і простим: ставили задачу моделі, порівнювали відповіді з еталонними та виставляли оцінки. Але тепер цей підхід втрачає свою актуальність.

Ідентичність AI змінилася. Він давно вже перестав бути пасивною машиною для відповіді на питання і став активним учасником дій. Самостійно планує маршрути, викликає різні інструменти, послідовно приймає рішення у складних завданнях — нове покоління AI крок за кроком бере на себе роботу, раніше виконувану людьми.

Наступне питання: оскільки AI робить не просто один вислів, а виконує цілі завдання, чи можна ще оцінювати його за стандартом «правильно або неправильно»?

Уявімо завдання, яке не має єдиного розв’язку. AI застосував спосіб, який не був передбачений, але дав кращий результат. За традиційною системою оцінювання це вважається провалом. А що насправді? Мета досягнута. Це не лише технічна деталь, а й системна проблема — як ви оцінюєте AI, від цього залежить, чи він справді навчився вирішувати проблеми, чи просто навчився догоджати правилам.

Тому зараз у дослідницькому середовищі склалася єдина думка: не можна дивитися лише на результат, потрібно враховувати процес. Останні дослідження та практичний досвід вказують у одному напрямку — оцінювання не повинно зосереджуватися на одному відповіді, потрібно аналізувати весь ланцюг дій. Як AI розуміє завдання, як він розбиває його на кроки, коли потрібно викликати інструменти, чи може він коригувати стратегію залежно від змін у навколишньому середовищі — ось що справді важливо.