สรุปโดยย่อ
* งานวิจัยจากมหาวิทยาลัยอ็อกซ์ฟอร์ดชี้ให้เห็นว่าแชทบอท AI ให้คำแนะนำด้านการแพทย์ที่อาจเป็นอันตรายต่อผู้ใช้
* ในขณะที่แชทบอททำคะแนนได้สูงในการทดสอบมาตรฐานด้านความรู้ทางการแพทย์ แต่กลับล้มเหลวในสถานการณ์ส่วนตัว งานวิจัยพบ
* นักวิจัยพบว่า LLMs ไม่ดีกว่าวิธีดั้งเดิมในการตัดสินใจด้านการแพทย์
แชทบอท AI กำลังพยายามที่จะกลายเป็นสิ่งที่ใหญ่ต่อไปในวงการดูแลสุขภาพ โดยทำคะแนนได้ดีในการทดสอบมาตรฐานและให้คำแนะนำเกี่ยวกับปัญหาสุขภาพของคุณ แต่การศึกษาชิ้นใหม่ที่เผยแพร่ใน Nature Medicine ได้แสดงให้เห็นว่าพวกมันไม่ได้ใกล้เคียงกับเป้าหมายนี้เลย และอาจเป็นอันตรายได้จริงๆ
การศึกษานี้นำโดยทีมงานจากมหาวิทยาลัยอ็อกซ์ฟอร์ด ซึ่งพบช่องว่างที่ชัดเจนในโมเดลภาษาใหญ่ (LLMs) ถึงแม้ว่าพวกมันจะมีความก้าวหน้าในด้านความเข้าใจทางการแพทย์ แต่ก็ล้มเหลวเมื่อช่วยผู้ใช้ในปัญหาสุขภาพส่วนตัว นักวิจัยพบ
“แม้จะมีเสียงเชียร์มากมาย แต่ AI ก็ยังไม่พร้อมที่จะรับบทบาทเป็นแพทย์” ดร.รีเบคก้า เพย์น ผู้เชี่ยวชาญด้านการแพทย์นำทีมในงานวิจัยนี้ กล่าวในแถลงข่าวประกาศผลการศึกษา เธอเสริมว่า “ผู้ป่วยควรตระหนักว่าการถามโมเดลภาษาใหญ่เกี่ยวกับอาการของตนอาจเป็นอันตราย ให้การวินิจฉัยผิดพลาด และไม่สามารถรับรู้ได้เมื่อจำเป็นต้องได้รับความช่วยเหลือเร่งด่วน”
การศึกษานี้มีผู้เข้าร่วม 1,300 คน ใช้โมเดล AI จาก OpenAI, Meta และ Cohere เพื่อระบุภาวะสุขภาพ พวกเขาได้สร้างสถานการณ์ต่างๆ ที่แพทย์เป็นผู้พัฒนา โดยให้ระบบ AI บอกว่าควรทำอะไรต่อไปเพื่อจัดการกับปัญหาสุขภาพของตน
การศึกษาพบว่าผลลัพธ์ไม่ได้ดีกว่าการวินิจฉัยด้วยตนเองแบบดั้งเดิม เช่น การค้นหาออนไลน์หรือการตัดสินใจด้วยตนเอง
นอกจากนี้ยังพบว่าผู้ใช้มีความเข้าใจผิดเกี่ยวกับข้อมูลที่ LLM ต้องการเพื่อให้คำแนะนำที่แม่นยำ ผู้ใช้ได้รับคำแนะนำทั้งดีและไม่ดี ทำให้ยากที่จะระบุขั้นตอนต่อไป
Decrypt ได้ติดต่อ OpenAI, Meta และ Cohere เพื่อขอความคิดเห็น และจะอัปเดตบทความนี้หากได้รับคำตอบ
“ในฐานะแพทย์ การวินิจฉัยที่ถูกต้องนั้นไม่ได้ขึ้นอยู่กับการจำข้อมูลเท่านั้น การแพทย์เป็นทั้งศิลปะและวิทยาศาสตร์ การฟัง การสอบถาม การชี้แจง การตรวจสอบความเข้าใจ และการแนะนำการสนทนาเป็นสิ่งสำคัญ” เพย์นกล่าวกับ Decrypt
“แพทย์จะสอบถามอาการที่เกี่ยวข้องอย่างกระตือรือร้น เพราะผู้ป่วยมักไม่รู้ว่าข้อมูลใดสำคัญ” เธออธิบายเพิ่มเติมว่า การศึกษานี้แสดงให้เห็นว่า LLMs “ยังไม่สามารถจัดการกับปฏิสัมพันธ์เชิงพลวัตกับผู้ที่ไม่มีความเชี่ยวชาญได้อย่างเชื่อถือได้”
ทีมงานสรุปว่า AI ยังไม่เหมาะสมสำหรับการให้คำแนะนำด้านการแพทย์ในตอนนี้ และจำเป็นต้องมีระบบการประเมินผลใหม่ หากจะนำไปใช้ในวงการดูแลสุขภาพอย่างถูกต้อง อย่างไรก็ตาม นั่นไม่ได้หมายความว่าพวกมันไม่มีบทบาทในวงการแพทย์ในปัจจุบัน
ในขณะที่ LLMs “แน่นอนว่ามีบทบาทในวงการดูแลสุขภาพ” เพย์นกล่าว ควรเป็น “เลขานุการ มากกว่าหมอ” เทคโนโลยีนี้มีประโยชน์ในด้าน “สรุปและปรับข้อมูลที่ให้ไว้แล้ว” โดย LLMs ได้ถูกนำไปใช้ในห้องคลินิกเพื่อ “ถอดความการปรึกษาและปรับข้อมูลนั้นเป็นจดหมายถึงผู้เชี่ยวชาญ แผ่นข้อมูลสำหรับผู้ป่วย หรือบันทึกทางการแพทย์” เธออธิบาย
ทีมงานสรุปว่า แม้พวกเขาจะไม่ได้ต่อต้าน AI ในวงการดูแลสุขภาพ แต่หวังว่าการศึกษานี้จะช่วยชี้แนวทางให้ AI ถูกนำไปใช้ในทิศทางที่ดีกว่า
