科學家建立公式預測AI聊天機器人何時變壞

物理學家創建了一個數學公式，可以預測AI聊天機器人何時會從提供有用答案轉變為有害答案，初步測試中準確率達到94%。

你是否曾經想過，為什麼AI聊天機器人一開始能給出合理的答案，然後突然說出一些有害或危險的話？兩位物理學家表示，他們找到了預測這種情況何時發生的方法。

喬治華盛頓大學的研究人員Neil Johnson和Frank Yingjie Huo發表了一個公式，可以估算AI聊天機器人在給出壞答案之前會提供多少個好答案。他們的研究發表在科學期刊*Patterns*上。

關鍵概念是所謂的注意力頭——AI模型中決定在選擇下一個詞時，對話中哪些先前的詞最重要的部分。隨著聊天時間的延長，這種“注意力”可能會偏向有害答案，直到模型“翻轉”。

他們的公式測量了一個稱為n的臨界點，這是指在出現第一個壞答案之前，AI產生的好詞元（AI一次生成的小詞片段）的數量。其運作方式如下：

目前的結果：

主要目標是設備上的AI——完全在你的手機或筆記本電腦上運行的聊天機器人，無需互聯網連接。這些離線模型沒有雲服務檢查其輸出，因此研究人員提出了一個低成本監控器，與模型一起運行並標記危險，就像汽車儀表板上的警示燈一樣。

簡而言之，這項研究可以通過提前警告來使我們手機上的AI應用更安全，防止它們偏離正軌——這是隨著更多AI轉向離線的重要一步。