Theo Beating, công ty đánh giá AI Vals AI đã phát hành benchmark Finance Agent v2 thế hệ thứ hai vào ngày 14 tháng 5, thử nghiệm các quy trình phân tích tài chính thông qua 927 câu hỏi được chuyên gia rà soát. GPT-5.5 dẫn đầu bảng xếp hạng với tỷ lệ chính xác 51,76%, theo sát là Claude Opus 4.7 (51,51%) và Claude Sonnet 4.6 (51,03%). Bài kiểm tra yêu cầu các mô hình phải tự độc lập xác định các phần liên quan trong hàng trăm trang của báo cáo tài chính 10-K và 10-Q, đồng thời hoàn thành các phép tính nhiều bước với các con số trung gian chính xác.
Trong các tiêu chuẩn chấm điểm nghiêm ngặt đòi hỏi câu trả lời hoàn toàn đúng, tỷ lệ chính xác của tất cả các mô hình dẫn đầu đều giảm xuống dưới 40%, và các nhóm khó nhất—mô hình hóa tài chính và phân tích tiền lệ—chỉ đạt tối đa 23%. Trong số các mô hình khác, Kimi K2.6 xếp thứ năm với 44,87%, tiếp theo là GLM 5.1 (44,79%) và DeepSeek V4 (44,08%). So với phiên bản trước, khi Opus 4.7 đạt 64,4%, mức sụt giảm đáng kể cho thấy rằng dù AI có thể xử lý tốt việc truy xuất đơn giản, nó vẫn còn rất xa so với việc thay thế các nhà phân tích con người trong lĩnh vực tài chính phức tạp, nơi cần độ chính xác số liệu nghiêm ngặt.
Related News
Các chuyên gia cho biết các zk-proof mang lại lợi thế cho DePIN khi nhu cầu về niềm tin từ AI ngày càng tăng
Fidelity công khai ủng hộ dự luật CLARITY, cho rằng dự luật này mang lại một cách tiếp cận quản lý cân bằng
Mistral AI đàm phán với ngân hàng châu Âu để phát triển mô hình thay thế an ninh mạng Mythos