Tổng hợp AI của An Kwang-sup: Các LLM lớn khuếch đại bất bình đẳng

Chuyện gì đã xảy ra

Nhóm nghiên cứu do Giáo sư Kim Seung-seop ở Đại học Quốc gia Seoul dẫn đầu. Họ nói rằng các mô hình ngôn ngữ AI lớn có thể xóa bỏ nhóm thiểu số và làm bất bình đẳng nặng thêm. Nghiên cứu có tên 'The Architect of Silence' (Kiến trúc sư của sự im lặng). Nhóm dùng 10.000 người giả từ bộ dữ liệu của NVIDIA. Họ yêu cầu Llama 3.3 trả lời thay cho từng người về các chủ đề như khuyết tật, xu hướng tình dục và trải nghiệm sống. Nhà bình luận cho rằng tiêu đề của nghiên cứu nói quá xa so với những gì nghiên cứu thực sự chứng minh.

Các con số chính

• Dùng 10.000 người giả với Llama 3.3. Thêm 1.000 người được thử với ba mô hình khác.
• Trong câu trả lời của Llama, số người được ghi là khuyết tật là 0. Tỷ lệ người lớn khuyết tật thực tế dùng để so sánh là 5,9%.
• Có 5 người tự nhận khuyết tật, dù không có giấy đăng ký chính thức.
• Không có câu trả lời nào thể hiện người đồng tính nữ, đồng tính nam, song tính, chuyển giới hay người sinh ra ở nước ngoài.

Dữ liệu giả là gì?

Bộ dữ liệu này không phải là phỏng vấn thật với 1 triệu người. Đây là những người giả được tạo ra từ số liệu dân số. NVIDIA thừa nhận họ đã dùng một số giả định về sự độc lập giữa các yếu tố, nên chưa thể hiện hết cách các yếu tố tác động lẫn nhau. Dữ liệu cũng chưa phản ánh đầy đủ thông tin công khai về giới tính tách biệt với giới tính sinh học. Ngoài ra, mỗi người giả không chỉ có tuổi và vùng sống. Họ còn có chi tiết đời sống như gia đình, sở thích, món ăn, du lịch và mục tiêu sức khỏe. Vì vậy, một ô trống về khuyết tật không có nghĩa là mô hình đã trả lời một cách trung lập.

Vì sao điều này quan trọng

Nhà bình luận đồng ý rằng dùng câu trả lời của AI thay cho trải nghiệm thật của con người có thể gây hại. Vì vậy, kiểm tra xem dữ liệu có đại diện đúng cho xã hội hay không là việc quan trọng. Tuy nhiên, ông tách ba khẳng định khác nhau: mô hình cho kết quả khác với số liệu dân số thật; sự khác biệt đến từ thiên kiến xã hội trong dữ liệu huấn luyện; và điều này dẫn đến bất bình đẳng thật ngoài đời. Chứng minh được khẳng định đầu không có nghĩa là đã chứng minh hai khẳng định sau. Ngoài ra, chỉ chọn câu trả lời có khả năng cao nhất không giống với việc tái tạo toàn bộ dân số. Kết quả 0% không có nghĩa là xác suất bằng 0. Ví dụ đơn giản: nếu mỗi lần chọn có xác suất 5,9% là 'có', thì chọn theo lựa chọn cao nhất sẽ ra 0 người. Nhưng chọn ngẫu nhiên theo xác suất sẽ ra khoảng 590 người.

Cần theo dõi điều gì

• Thử xem kết quả có đổi khi mô hình được phép trả lời là 'không đủ thông tin' hay không.
• Thử bỏ phần câu chuyện đời sống, hoặc nêu rõ bản dạng thiểu số, xem kết quả có đổi không.
• Kiểm tra xem cùng kiểu mẫu có xuất hiện khi đổi cách lấy câu trả lời hoặc thứ tự câu hỏi không.
• Xem nhóm nghiên cứu phản hồi thế nào về các giải thích khác, gồm cài đặt temperature (đặt bằng 0) và cách các câu trả lời tích lũy trong cùng một cuộc trò chuyện.