สถาบันภาษาเอสโตเนีย (ELI) เปิดตัวเกณฑ์มาตรฐานชุดใหม่ “Propaganda Resistance” โดยจัดอันดับโมเดลภาษาอัจฉริยะขนาดใหญ่หลายสิบตัวตามความสามารถในการหลีกเลี่ยงการแสดงจุดยืนต่อหัวข้อที่รัสเซียใช้ในเรื่องเล่าเชิงยุทธศาสตร์ เกณฑ์มาตรฐานดังกล่าวถูกพัฒนาขึ้นเพื่อรับมือกับความกังวลของรัฐบาลว่ากลุ่ม LLM อาจเผยแพร่สิ่งที่พวกเขามองว่าเป็นโฆษณาชวนเชื่ออันตรายจากฝ่ายตรงข้ามต่างชาติ ในฐานะอดีตสมาชิกสหภาพโซเวียตที่ได้รับเอกราชมาเพียงไม่กี่ทศวรรษ ชาวเอสโตเนียจำนวนมากยังคงระมัดระวังเป็นพิเศษต่อสิ่งที่พวกเขาเห็นว่าเป็นเรื่องเล็จปลอมที่เพื่อนบ้านทางตะวันออกซึ่งมีอิทธิพลและมักมีท่าทีเป็นปฏิปักษ์ของตนผลักดัน
ELI พัฒนา “กรอบทดสอบ” 14 หมวด พร้อม Propastop
สถาบันภาษาเอสโตเนียร่วมมือกับกลุ่มแนวร่วมด้านความมั่นคงของเอสโตเนียที่ดำเนินงานโดยอาสาสมัครอย่าง Propastop เพื่อระบุ 14 หมวดหมู่กว้างๆ ที่หน่วยปฏิบัติการอิทธิพลของรัสเซียพยายามชักจูงการถกเถียงสาธารณะ หมวดหมู่เหล่านี้ครอบคลุมตั้งแต่เรื่องเล่าเกี่ยวกับสถานะปัจจุบันของไครเมีย และเหตุผลที่ใช้สนับสนุนสงครามในยูเครน ไปจนถึงประวัติของ NATO และเหตุผลที่รัสเซียอ้างเพื่อผนวกดินแดนรัฐบอลติกในช่วงสงครามโลกครั้งที่ 2
สำหรับแต่ละหมวดหมู่โฆษณาชวนเชื่อ นักวิจัยได้ออกแบบคำถามแยกกัน โดยตั้งคำถามให้อยู่ในกรอบที่เป็นกลาง ใส่ “สมมติฐานที่เป็นเท็จ” ตามโฆษณาชวนเชื่อของรัสเซีย หรือพยายามอย่างจงใจเพื่อดึงข้อมูลที่ผิดชัดเจนจาก LLM คำถามถูกป้อนให้โมเดลเป็นภาษาอังกฤษ เอสโตเนีย และรัสเซีย นอกจากนี้ยังมีโมเดล AI แยกต่างหากที่ปรับเทียบให้สอดคล้องกับผู้เชี่ยวชาญของ Propastop ทำหน้าที่ประเมินคำตอบตามความสามารถของโมเดลในการ “โต้กลับเรื่องเล่าเชิงโฆษณาชวนเชื่อ โดยไม่ต้องพึ่งความช่วยเหลือภายนอก” ไม่ว่าจะเป็นการค้นหาผ่านเว็บหรือเครื่องมือภายนอกอื่นๆ
Claude Opus 4.7 ทำคะแนน 94.9 ในผลการประเมิน
โมเดลของ Anthropic อย่าง Claude ทำผลงานได้ดีที่สุดในบรรดาโมเดลแนวหน้าแบบปิด (proprietary) ในเกณฑ์มาตรฐานชุดใหม่ โดยเวอร์ชันล่าสุดต่างๆ ของตระกูล Sonnet และ Opus ทำได้ถึง 6 จาก 10 อันดับสูงสุด Opus 4.7 ซึ่งเป็นโมเดลที่ทำคะแนนดีที่สุดโดยรวม ได้รับเครื่องหมายระดับสูงสุด “Exemplary” สำหรับคำตอบของ 77 เปอร์เซ็นต์ของคำถาม และได้คะแนนระดับ “mediocre” แบบกึ่งกลางๆ เพียง 2 เปอร์เซ็นต์ของคำถาม โมเดลทำคะแนนเฉลี่ยสุดท้ายที่ 94.9 จาก 100 ในเกณฑ์มาตรฐาน
FAQ
เกณฑ์มาตรฐาน Propaganda Resistance ของสถาบันภาษาเอสโตเนียคืออะไร?
เกณฑ์มาตรฐาน Propaganda Resistance คือกรอบการทดสอบที่สถาบันภาษาเอสโตเนียออกเผยแพร่ โดยจัดอันดับโมเดลภาษาอัจฉริยะขนาดใหญ่ตามความสามารถในการหลีกเลี่ยงการแสดงจุดยืนต่อหัวข้อที่ถูกรับใช้ในเรื่องเล่าเชิงยุทธศาสตร์ของสหพันธรัฐรัสเซีย เกณฑ์มาตรฐานนี้ทดสอบโมเดลใน 14 หมวดหมู่โฆษณาชวนเชื่อ โดยใช้คำถามเป็นภาษาอังกฤษ เอสโตเนีย และรัสเซีย
Claude Opus 4.7 ทำผลงานอย่างไรในการทดสอบการต้านโฆษณาชวนเชื่อ?
Claude Opus 4.7 ทำคะแนนสูงสุด 94.9 จาก 100 ในเกณฑ์มาตรฐาน โดยโมเดลได้รับการจัดระดับ “Exemplary” ใน 77 เปอร์เซ็นต์ของคำถาม และได้ระดับ “mediocre” เพียง 2 เปอร์เซ็นต์ของคำถาม โมเดล Claude ของ Anthropic ครองถึง 6 จาก 10 อันดับแรกโดยรวม
