보관된 글 — US — techcrunch
OpenAI used this subreddit to test AI persuasion
OpenAI는 그들의 AI 모델의 설득력을 측정하기 위해 서브레딧 r/ChangeMyView를 활용한 테스트를 개발했다고 발표했습니다. 이 테스트는 사용자 게시글에 대한 설득력 있는 답변을 생성한 후, 그 결과를 평가하여 AI의 성과를 측정하는 방식입니다. OpenAI의 새로운 "reasoning" 모델인 o3-mini는 기존 모델 o1과 비슷한 성과를 보였으며, AI 모델들은 서브레딧 회원들보다 더 설득력이 있는 것으로 나타났습니다. 그러나 OpenAI는 이 평가가 레딧과의 협약과는 관련이 없다고 밝혔으며, AI가 지나치게 설득력 있는 결과를 만들지 않도록 하는 것이 목표입니다.
OpenAI가 r/ChangeMyView 서브레딧을 활용하여 AI 설득 능력을 측정하기 위한 테스트를 개발한 것은 최근 AI 모델의 발전과 더불어 매우 흥미로운 사례입니다. 이 서브레딧은 사용자들이 자신의 주장을 제기하고 다른 사용자의 설득력 있는 반응을 통해 서로의 관점을 바꾸려고 노력하는 커뮤니티로, 기술 기업들이 고품질 인간 생성 데이터를 수집하기 위한 금광과도 같습니다. OpenAI는 이러한 데이터를 활용하여 AI 모델이 얼마나 효과적으로 사람들의 마음을 바꿀 수 있는지를 측정하고 있습니다.
개인적으로, OpenAI의 접근 방식은 AI의 설득력이 어떻게 인식되는지를 탐구하는 데 있어 중요한 진전을 보여줍니다. 그러나 이러한 능력이 데이터 수집 방식 및 사용의 투명성과 결부될 때 여러 리스크가 따라옵니다. 특히 AI가 설득하는 능력이 높아질 경우, 악의적인 의도에 따라 AI가 사람들을 조종할 가능성도 있다고 우려합니다. 따라서 기업은 AI 설계와 데이터 활용에서 더욱 책임 있는 태도가 필요합니다.
이와 관련된 데이터 및 사례로는 OpenAI의 o3-mini 모델이 r/ChangeMyView의 사용자들보다 뛰어난 설득력을 보인다는 점입니다. OpenAI는 이 모델이 인간의 상위 80~90%의 설득 능력을 보인다고 보고하였고, 이는 AI의 기술적 발전을 반영합니다. 그러나 동시에 이러한 성과가 위험을 수반할 수 있음을 잘 인식해야 합니다. 예를 들어, AI가 제시하는 반대 의견이 사실이 아닐 가능성도 있으며, 이는 사용자에게 잘못된 정보를 전달할 수 있습니다.
이러한 맥락에서, OpenAI는 AI 모델의 설득 능력을 유의미하게 제한하기 위한 평가 기준과 안전 장치를 개발하고 있으며, 앞으로도 이와 같은 향후 연구와 검증이 계속되어야 할 것입니다. AI의 조작 가능성을 줄이고, 건강한 논의 문화를 발전시키기 위해서는 설득력 있는 AI의 설계 원칙을 더욱 엄격히 적용해야 하며, 사용자의 비판적 사고 능력을 기르는 것도 중요합니다.