[안광섭 AI 진테제] 대규모 LLM이 불평등 증폭

무슨 일이 있었나

연구팀은 엔비디아의 가상 인물 데이터셋에서 1만 명을 뽑아 라마 3.3 모델에 넣었습니다. 각 인물이 되어 장애 여부, 성적 지향, 살아온 경험 등에 답하게 했습니다. 실제 국가 조사와 비교한 결과, 소수자 응답이 거의 나오지 않았습니다. 강연 포스터는 이를 '소수자를 지우고 불평등을 증폭시킨다'는 제목으로 알렸습니다. 글쓴이는 이 제목이 연구가 실제로 확인한 내용보다 앞서 간다고 지적합니다.

핵심 숫자

• 라마의 응답에서 등록장애인은 0명이었습니다.
• 실제 성인 인구의 등록장애인 비율은 5.9%입니다.
• 자가보고 장애인은 5명이었습니다.
• 레즈비언·게이·양성애자, 트랜스젠더, 국외 출생자는 모두 0명이었습니다.
• 연구에는 1만 개의 가상 인물이 쓰였고, 그중 1000개는 다른 세 모델에도 적용됐습니다.

가상 인물 데이터는 실제 사람이 아니다

이 데이터셋은 실제 사람 100만 명을 인터뷰한 기록이 아닙니다. 인구통계 자료를 바탕으로 만든 합성 인물들입니다. 엔비디아도 일부 변수가 서로 독립이라고 가정했고, 요인 사이의 관계를 충분히 반영하지 못했다고 밝힙니다. 여성 비율이나 나이, 지역이 현실과 비슷해도 장애나 성적 지향까지 같은 분포로 들어 있다고 볼 수는 없습니다.

왜 중요한가

가상 응답을 실제 국민의 의견을 대신하는 자료로 쓰면 문제가 생길 수 있습니다. 그래서 합성 데이터의 대표성을 검증해야 한다는 경고는 중요합니다. 하지만 '응답이 실제 인구와 다르다', '그 이유는 사회적 편견 때문이다', '그래서 현실의 불평등이 늘어난다'는 세 주장은 서로 다른 내용입니다. 하나를 확인했다고 나머지 둘이 자동으로 증명되지는 않습니다. 원인이 다르면 해결 방법도 달라집니다.

앞으로 지켜볼 점

• '정보가 없으면 모른다'는 선택지를 허용했을 때 결과가 어떻게 바뀌는지
• 서술형 정보를 빼거나 소수자 정체성을 명시했을 때 결과가 달라지는지
• 답을 고르는 방식이나 질문 순서를 바꿔도 같은 결과가 나오는지
• temperature 설정이 원인인지 확인하는 추가 실험이 나오는지