探究GPT模型的可信度：全面评估与潜在风险

近期，一个由伊利诺伊大学香槟分校、斯坦福大学、加州大学伯克利分校、人工智能安全中心和微软研究院共同组成的研究团队发布了一个针对大型语言模型(LLMs)的综合可信度评估平台。该研究成果以《DecodingTrust：全面评估GPT模型的可信度》为题发表。

这项研究揭示了一些先前未公开的与GPT模型可信度相关的潜在问题。研究发现，GPT模型容易产生有害和带有偏见的输出，还可能泄露训练数据和对话历史中的隐私信息。值得注意的是，尽管GPT-4在标准测试中通常比GPT-3.5更可靠，但在面对恶意设计的指令时，GPT-4反而更容易受到攻击，这可能是因为它更严格地遵循了误导性指令。

研究团队从八个不同角度对GPT模型进行了全面评估，包括对抗性攻击、有毒内容和偏见、隐私泄露等方面。例如，在评估模型对文本对抗攻击的鲁棒性时，研究者设计了多种测试场景，包括使用标准基准AdvGLUE、采用不同指导性任务说明，以及使用自行生成的具有挑战性的对抗性文本AdvGLUE++。

在有毒性和偏见方面，研究发现GPT模型在正常情况下对大多数刻板印象话题的偏见较小。然而，在面对误导性系统提示时，模型可能会被诱导同意带有偏见的内容。特别是GPT-4比GPT-3.5更容易受到有针对性的误导性系统提示的影响。模型的偏见程度还与用户提问中涉及的人群和话题敏感度有关。

关于隐私泄露问题，研究发现GPT模型可能会泄露训练数据中的敏感信息，如电子邮件地址。在某些情况下，提供额外的上下文信息会大大提高信息提取的准确率。此外，模型还可能泄露对话历史中注入的私人信息。总体而言，GPT-4在保护个人身份信息方面比GPT-3.5表现更好，但两种模型在面对隐私泄露演示时都存在风险。

这项研究为GPT模型的可信度评估提供了一个全面的框架，揭示了一些潜在的安全隐患。研究团队希望这项工作能够推动更多研究者关注并改进大型语言模型的可信度问题，最终开发出更强大、更可靠的模型。为了促进合作，研究团队已将评估基准代码开源，并设计成易于使用和扩展的形式。