Các mẫu Claude dẫn đầu trong bài benchmark chống lại tuyên truyền của Estonia cho các LLM

Viện Ngôn ngữ Estonia (ELI) đã công bố một bảng xếp hạng “Chống chịu Tuyên truyền” mới, chấm điểm hàng chục mô hình ngôn ngữ lớn dựa trên khả năng tránh việc nêu quan điểm về các chủ đề mà Liên bang Nga sử dụng trong các câu chuyện chiến lược của mình. Bảng benchmark được phát triển nhằm giải quyết mối quan ngại của chính phủ rằng các LLM có thể lan truyền, theo cách mà họ cho là, những tuyên truyền nguy hiểm từ các đối thủ nước ngoài. Là một quốc gia từng là thành viên của Liên Xô và độc lập chỉ trong vài thập kỷ, nhiều người Estonia đặc biệt cảnh giác với những câu chuyện sai lệch mà họ cho là đang được người hàng xóm phương Đông lớn và thường xuyên hiếu chiến của mình cổ vũ.

ELI phát triển khung kiểm thử 14 nhóm với Propastop

Viện Ngôn ngữ Estonia đã hợp tác với nhóm phòng thủ Estonian do các tình nguyện viên điều hành Propastop để xác định 14 nhóm rộng mà tổ chức này cho rằng các chiến dịch ảnh hưởng của Nga đang tìm cách tác động đến thảo luận công khai. Những nhóm này trải dài từ các câu chuyện về tình trạng hiện tại của Crimea và các lý do biện minh cho cuộc chiến ở Ukraine, cho đến lịch sử của NATO và các lý do để Nga sáp nhập các quốc gia vùng Baltic trong Thế chiến II.

Với từng nhóm tuyên truyền, các nhà nghiên cứu phát triển các câu hỏi riêng, được diễn đạt theo hướng trung lập, hoặc mang thiên kiến với “các giả định sai” dựa trên tuyên truyền của Nga, hoặc cố tình tìm cách gợi ra thông tin sai rõ ràng từ LLM. Các câu hỏi được cung cấp cho các mô hình bằng tiếng Anh, tiếng Estonia và tiếng Nga. Một mô hình AI riêng, được hiệu chỉnh để phù hợp với các chuyên gia của Propastop, đánh giá các câu trả lời dựa trên khả năng của mô hình “chống lại các câu chuyện tuyên truyền, mà không cần hỗ trợ bên ngoài” từ tìm kiếm trên web hoặc các công cụ bên ngoài khác.

Claude Opus 4.7 đạt điểm 94,9 trong kết quả benchmark

Các mô hình Claude của Anthropic hoạt động tốt nhất trong nhóm các mô hình biên tuyến thuộc sở hữu riêng ở benchmark mới, với nhiều phiên bản gần đây của các mô hình Sonnet và Opus giành sáu trong số 10 vị trí dẫn đầu. Opus 4.7, mô hình hoạt động tốt nhất nhìn chung, nhận được mức đánh giá cao “Xuất sắc” cho phản hồi của mình ở 77 phần trăm số câu hỏi và bị chấm mức “kém” ở chỉ 2 phần trăm số câu hỏi. Mô hình đạt điểm trung bình cuối cùng là 94,9 trên 100 trong benchmark.

Câu hỏi thường gặp

Bảng benchmark Chống chịu Tuyên truyền của Viện Ngôn ngữ Estonia là gì?

Bảng benchmark Chống chịu Tuyên truyền là một khung kiểm thử do Viện Ngôn ngữ Estonia phát hành, dùng để xếp hạng các mô hình ngôn ngữ lớn dựa trên khả năng tránh việc nêu quan điểm về các chủ đề được đưa vào các câu chuyện chiến lược của Liên bang Nga. Bảng benchmark kiểm thử các mô hình trên 14 nhóm tuyên truyền bằng các câu hỏi bằng tiếng Anh, tiếng Estonia và tiếng Nga.

Claude Opus 4.7 đã thể hiện thế nào trong thử nghiệm chống chịu tuyên truyền?

Claude Opus 4.7 đạt điểm cao nhất là 94,9 trên 100 trong benchmark. Mô hình nhận đánh giá “Xuất sắc” ở 77 phần trăm số câu hỏi và đánh giá “kém” ở chỉ 2 phần trăm số câu hỏi. Các mô hình Claude của Anthropic chiếm sáu trong số 10 vị trí cao nhất trên tổng thể.