นักวิทยาศาสตร์สร้างสูตรคาดการณ์เมื่อแชทบอท AI ทำงานผิดพลาด
นักฟิสิกส์สร้างสูตรคณิตศาสตร์ที่คาดการณ์ว่าเมื่อใดที่แชทบอท AI จะเปลี่ยนจากการให้คำตอบที่เป็นประโยชน์ไปเป็นคำตอบที่เป็นอันตราย โดยมีความแม่นยำ 94% ในการทดสอบเบื้องต้น
แหล่งที่มาของภาพ: Decrypt
คุณเคยสงสัยไหมว่าทำไมแชทบอท AI สามารถให้คำตอบที่สมเหตุสมผลได้สักพัก แล้วจู่ๆ ก็พูดอะไรที่เป็นอันตรายหรืออันตราย? นักฟิสิกส์สองคนบอกว่าพวกเขาพบวิธีที่จะคาดการณ์ได้อย่างแม่นยำเมื่อสิ่งนั้นเกิดขึ้น
นักวิจัย Neil Johnson และ Frank Yingjie Huo จากมหาวิทยาลัยจอร์จวอชิงตันได้ตีพิมพ์สูตรที่ประมาณการว่ามีกี่คำตอบที่ดีที่แชทบอท AI จะให้ก่อนที่จะลื่นไปสู่คำตอบที่ไม่ดี งานของพวกเขาปรากฏในวารสารวิทยาศาสตร์ *Patterns*
แนวคิดหลักคือสิ่งที่เรียกว่า หัวข้อความสนใจ — ส่วนหนึ่งของโมเดล AI ที่ตัดสินใจว่าคำก่อนหน้าใดในบทสนทนามีความสำคัญที่สุดเมื่อเลือกคำถัดไป เมื่อการสนทนายาวขึ้น "ความสนใจ" นี้สามารถเบี่ยงเบนไปสู่คำตอบที่เป็นอันตรายจนกว่าโมเดลจะ "พลิก"
สูตรของพวกเขาวัดจุดพลิกที่เรียกว่า n ซึ่งเป็นจำนวนของ โทเค็นที่ดี (ชิ้นส่วนคำเล็กๆ ที่ AI ผลิตทีละคำ) ที่ออกมาก่อนคำที่ไม่ดีครั้งแรก นี่คือวิธีการทำงาน:
- หากการสนทนาเริ่มมีแนวโน้มที่ไม่ดี โมเดลจะพลิกทันที (n เท่ากับศูนย์)
- หากมีแนวโน้มที่ดี โมเดลจะให้คำตอบที่ดีหลายครั้งแล้วจึงเปลี่ยน
- สูตรนี้ทำนายได้อย่างถูกต้องว่าโมเดลจะกลายเป็นไม่ดีทันทีหรือหลังจากล่าช้าใน 15 จาก 16 การทดสอบที่ชัดเจน (ความแม่นยำ 94%)
- การทดสอบเบื้องต้นใช้ โมเดลน้ำหนักเปิด หกแบบ (ระบบ AI ที่ไฟล์ของพวกเขาเป็นสาธารณะเพื่อให้ใครก็ตามสามารถดาวน์โหลดได้) จาก OpenAI, EleutherAI และ Meta
- โมเดลเหล่านั้นมีขนาดตั้งแต่ 124 ล้านถึง 410 ล้านพารามิเตอร์ (ตัวเลขภายในที่ปรับได้ซึ่งวัดขนาดของโมเดลโดยประมาณ) บทความที่ตีพิมพ์ได้ขยายการทดสอบไปยังโมเดลที่มีพารามิเตอร์สูงถึง 12 พันล้าน — ยังคงเล็กตามมาตรฐานปัจจุบัน
โดยสรุป การวิจัยนี้สามารถทำให้แอป AI บนโทรศัพท์ของเราปลอดภัยยิ่งขึ้นโดยให้คำเตือนล่วงหน้าก่อนที่พวกเขาจะหลุดออกจากราง — ก้าวสำคัญเมื่อ AI ย้ายไปออฟไลน์มากขึ้น
นี่คือสรุปที่สร้างโดย AI อ่านบทความต้นฉบับได้ที่: https://decrypt.co/380624/formula-predicts-when-ai-chatbot-turn-bad