За последние десять лет методы оценки прогресса искусственного интеллекта были очень простыми и грубыми: задавать вопросы модели, сравнивать ответы с эталонными и выставлять оценки. Но сейчас этот подход начинает устаревать.

Роль AI изменилась. Он давно перестал быть пассивной машиной для ответов и стал активным участником, способным самостоятельно выполнять задачи. Планировать маршруты, вызывать различные инструменты, постоянно принимать решения в сложных задачах — новый уровень AI постепенно берет на себя работу, ранее выполняемую человеком.

Возникает вопрос: раз AI делает не просто один ответ, а завершает целый процесс, можно ли по-прежнему оценивать его по стандарту «правильно или неправильно»?

Представим задачу, у которой нет единственного правильного решения. AI использует неожидный, но более эффективный способ её решить. По традиционной системе оценки это считается провалом. Но что на самом деле? Цель достигнута. Это не только инженерная деталь, но и системная проблема — как вы оцениваете AI, так вы определяете, действительно ли он научился решать задачи или просто научился играть по правилам.

Поэтому сообщество исследователей AI пришло к единому мнению: важно не только смотреть на результат, но и учитывать процесс. Новейшие исследования и практический опыт указывают в одном направлении — оценка не должна сосредотачиваться на одном ответе, нужно смотреть на весь цепочку действий. Как AI понимает задачу, как он разбивает её на шаги, когда он должен вызывать инструменты, может ли он адаптировать стратегию в зависимости от окружающей среды — вот что действительно важно.