Khám Phá Độ Tin Cậy Của Mô Hình GPT: Đánh Giá Toàn Diện Và Rủi Ro Tiềm Ẩn

Gần đây, một nhóm nghiên cứu được thành lập bởi Đại học Illinois tại Urbana-Champaign, Đại học Stanford, Đại học California, Berkeley, Trung tâm An ninh Trí tuệ Nhân tạo và Viện Nghiên cứu Microsoft đã công bố một nền tảng đánh giá độ tin cậy toàn diện cho các mô hình ngôn ngữ lớn (LLMs). Kết quả nghiên cứu này được công bố với tiêu đề "DecodingTrust: Đánh giá toàn diện độ tin cậy của các mô hình GPT."

Nghiên cứu này tiết lộ một số vấn đề tiềm ẩn liên quan đến độ tin cậy của mô hình GPT mà trước đây chưa được công khai. Nghiên cứu cho thấy mô hình GPT dễ dàng tạo ra các đầu ra có hại và thiên lệch, đồng thời có thể rò rỉ thông tin riêng tư từ dữ liệu huấn luyện và lịch sử trò chuyện. Đáng chú ý là, mặc dù GPT-4 thường đáng tin cậy hơn GPT-3.5 trong các bài kiểm tra tiêu chuẩn, nhưng khi phải đối mặt với các chỉ dẫn được thiết kế ác ý, GPT-4 lại dễ bị tấn công hơn, điều này có thể là do nó tuân thủ nghiêm ngặt các chỉ dẫn gây hiểu lầm.

Nhóm nghiên cứu đã thực hiện đánh giá toàn diện mô hình GPT từ tám góc độ khác nhau, bao gồm tấn công đối kháng, nội dung độc hại và sự thiên kiến, rò rỉ thông tin cá nhân, v.v. Ví dụ, khi đánh giá độ bền của mô hình đối với các cuộc tấn công văn bản đối kháng, các nhà nghiên cứu đã thiết kế nhiều tình huống thử nghiệm khác nhau, bao gồm sử dụng tiêu chuẩn chuẩn AdvGLUE, áp dụng các hướng dẫn nhiệm vụ khác nhau, cũng như sử dụng văn bản đối kháng đầy thử thách tự tạo AdvGLUE++.

Về mặt độc hại và thiên kiến, nghiên cứu cho thấy mô hình GPT có thiên kiến nhỏ hơn đối với hầu hết các chủ đề định kiến trong điều kiện bình thường. Tuy nhiên, khi đối mặt với các gợi ý hệ thống gây hiểu lầm, mô hình có thể bị dẫn dắt đồng ý với nội dung có thiên kiến. Đặc biệt, GPT-4 dễ bị ảnh hưởng bởi các gợi ý hệ thống gây hiểu lầm có mục tiêu hơn so với GPT-3.5. Mức độ thiên kiến của mô hình cũng liên quan đến tính nhạy cảm của các nhóm và chủ đề được đề cập trong câu hỏi của người dùng.

Về vấn đề rò rỉ thông tin cá nhân, nghiên cứu đã phát hiện rằng mô hình GPT có thể tiết lộ thông tin nhạy cảm trong dữ liệu huấn luyện, chẳng hạn như địa chỉ email. Trong một số trường hợp, việc cung cấp thêm thông tin ngữ cảnh sẽ cải thiện đáng kể độ chính xác của việc trích xuất thông tin. Hơn nữa, mô hình cũng có thể tiết lộ thông tin cá nhân được chèn vào trong lịch sử hội thoại. Tổng thể, GPT-4 có hiệu suất tốt hơn trong việc bảo vệ thông tin danh tính cá nhân so với GPT-3.5, nhưng cả hai mô hình đều có rủi ro khi đối mặt với các trình diễn rò rỉ thông tin cá nhân.

Nghiên cứu này cung cấp một khung toàn diện để đánh giá tính đáng tin cậy của mô hình GPT, tiết lộ một số rủi ro tiềm ẩn về an toàn. Nhóm nghiên cứu hy vọng công việc này có thể thúc đẩy nhiều nhà nghiên cứu hơn tập trung vào và cải thiện vấn đề tính đáng tin cậy của các mô hình ngôn ngữ lớn, cuối cùng phát triển ra những mô hình mạnh mẽ và đáng tin cậy hơn. Để thúc đẩy hợp tác, nhóm nghiên cứu đã mã nguồn mở mã đánh giá và thiết kế nó theo hình thức dễ sử dụng và mở rộng.