探究GPT模型的可信度：全面評估與潛在風險

近期，一個由伊利諾伊大學香檳分校、斯坦福大學、加州大學伯克利分校、人工智能安全中心和微軟研究院共同組成的研究團隊發布了一個針對大型語言模型(LLMs)的綜合可信度評估平台。該研究成果以《DecodingTrust：全面評估GPT模型的可信度》爲題發表。

這項研究揭示了一些先前未公開的與GPT模型可信度相關的潛在問題。研究發現，GPT模型容易產生有害和帶有偏見的輸出，還可能泄露訓練數據和對話歷史中的隱私信息。值得注意的是，盡管GPT-4在標準測試中通常比GPT-3.5更可靠，但在面對惡意設計的指令時，GPT-4反而更容易受到攻擊，這可能是因爲它更嚴格地遵循了誤導性指令。

研究團隊從八個不同角度對GPT模型進行了全面評估，包括對抗性攻擊、有毒內容和偏見、隱私泄露等方面。例如，在評估模型對文本對抗攻擊的魯棒性時，研究者設計了多種測試場景，包括使用標準基準AdvGLUE、採用不同指導性任務說明，以及使用自行生成的具有挑戰性的對抗性文本AdvGLUE++。

在有毒性和偏見方面，研究發現GPT模型在正常情況下對大多數刻板印象話題的偏見較小。然而，在面對誤導性系統提示時，模型可能會被誘導同意帶有偏見的內容。特別是GPT-4比GPT-3.5更容易受到有針對性的誤導性系統提示的影響。模型的偏見程度還與用戶提問中涉及的人羣和話題敏感度有關。

關於隱私泄露問題，研究發現GPT模型可能會泄露訓練數據中的敏感信息，如電子郵件地址。在某些情況下，提供額外的上下文信息會大大提高信息提取的準確率。此外，模型還可能泄露對話歷史中注入的私人信息。總體而言，GPT-4在保護個人身分信息方面比GPT-3.5表現更好，但兩種模型在面對隱私泄露演示時都存在風險。

這項研究爲GPT模型的可信度評估提供了一個全面的框架，揭示了一些潛在的安全隱患。研究團隊希望這項工作能夠推動更多研究者關注並改進大型語言模型的可信度問題，最終開發出更強大、更可靠的模型。爲了促進合作，研究團隊已將評估基準代碼開源，並設計成易於使用和擴展的形式。