Trong mười năm gần đây, cách đo lường tiến bộ của trí tuệ nhân tạo rất đơn giản và thô sơ: đưa đề bài cho mô hình, lấy câu trả lời so sánh với đáp án chuẩn, rồi chấm điểm. Nhưng giờ đây, cách chơi này đã không còn hiệu quả nữa.

Danh tính của AI đã thay đổi. Nó không còn là một máy trả lời thụ động nữa, mà trở thành một tác nhân chủ động thực hiện các công việc. Lập kế hoạch hành trình, gọi các công cụ khác nhau, liên tục đưa ra các phán đoán trong các nhiệm vụ phức tạp — thế hệ AI mới đang từng bước tiếp quản những công việc trước đây do con người làm.

Vấn đề đặt ra là: Vì AI không chỉ đơn thuần phát ra một câu nói, mà còn hoàn thành toàn bộ nhiệm vụ, thì chúng ta còn có thể dùng tiêu chuẩn kiểm tra "đúng hay sai" để đánh giá nó nữa không?

Hãy tưởng tượng một nhiệm vụ không có một lời giải duy nhất. AI đã dùng một phương pháp không nằm trong dự kiến, nhưng hiệu quả hơn để hoàn thành. Theo cách đánh giá truyền thống, điều này gọi là thất bại. Nhưng thực tế là gì? Mục tiêu đã đạt được. Điều này không chỉ là chi tiết kỹ thuật, mà còn là một vấn đề hệ thống — cách bạn đánh giá AI sẽ quyết định xem nó có thực sự học cách giải quyết vấn đề hay chỉ học cách làm hài lòng quy tắc.

Vì vậy, cộng đồng nghiên cứu AI hiện nay đã đi đến thống nhất: đừng chỉ nhìn vào kết quả, mà phải xem quá trình. Các nghiên cứu mới nhất và kinh nghiệm thực chiến đều hướng về một hướng duy nhất — đánh giá không thể chỉ dựa vào một câu trả lời duy nhất, mà phải xem toàn bộ chuỗi hành động. AI hiểu nhiệm vụ như thế nào, cách phân tích các bước ra sao, khi nào nên gọi công cụ, có thể điều chỉnh chiến lược dựa trên thay đổi môi trường hay không — đó mới là những điều thực sự đáng để xem xét.