GPTモデルの信頼性の探求：包括的評価と潜在的リスク

最近、イリノイ大学シャンペーン校、スタンフォード大学、カリフォルニア大学バークレー校、人工知能安全センター、マイクロソフトリサーチが共同で構成した研究チームが、大型言語モデル(LLMs)に対する包括的な信頼性評価プラットフォームを発表しました。この研究成果は「DecodingTrust：GPTモデルの信頼性を包括的に評価する」という題で発表されました。

この研究は、GPTモデルの信頼性に関連するいくつかの以前に公開されていない潜在的な問題を明らかにしました。研究では、GPTモデルが有害で偏見のある出力を生成しやすく、トレーニングデータや対話履歴のプライバシー情報を漏洩する可能性があることが示されました。注目すべきは、GPT-4は標準テストでは通常GPT-3.5よりも信頼性が高いものの、悪意のある設計の指示に直面した際には、GPT-4の方が攻撃を受けやすいことです。これは、誤解を招く指示に対してより厳密に従うためかもしれません。

研究チームは、対抗攻撃、有毒コンテンツや偏見、プライバシー侵害などの観点から、GPTモデルを包括的に評価しました。例えば、テキストに対する対抗攻撃のロバスト性を評価する際、研究者は標準ベンチマークAdvGLUEを使用したり、異なる指示タスクを採用したり、独自に生成した挑戦的な対抗テキストAdvGLUE++を使用したりするなど、さまざまなテストシナリオを設計しました。

有毒性や偏見に関する研究では、GPTモデルが通常の状況下でほとんどのステレオタイプのトピックに対して偏見が少ないことが発見されました。しかし、誤解を招くシステムプロンプトに直面した場合、モデルは偏見のある内容に同意するよう誘導される可能性があります。特に、GPT-4はGPT-3.5よりもターゲットを絞った誤解を招くシステムプロンプトの影響を受けやすいです。モデルの偏見の程度は、ユーザーの質問に含まれる人々やトピックの敏感さに関連しています。

プライバシー漏洩の問題に関する研究では、GPTモデルがトレーニングデータに含まれる敏感な情報、例えば電子メールアドレスを漏洩する可能性があることがわかりました。特定の状況では、追加のコンテキスト情報を提供することで情報抽出の精度が大幅に向上します。さらに、モデルは対話履歴に注入された個人情報を漏洩する可能性もあります。全体的に見て、GPT-4は個人識別情報の保護においてGPT-3.5よりも優れたパフォーマンスを示していますが、両方のモデルはプライバシー漏洩のデモに直面したときにリスクがあります。

この研究は、GPTモデルの信頼性評価のための包括的なフレームワークを提供し、いくつかの潜在的な安全上の懸念を明らかにしました。研究チームは、この作業がより多くの研究者に大規模な言語モデルの信頼性問題に注目し、改善することを促進し、最終的にはより強力で信頼性の高いモデルを開発することを望んでいます。共同作業を促進するために、研究チームは評価基準のコードをオープンソース化し、使いやすく拡張可能な形に設計しました。