보관된 글 — US — techcrunch
전문가들 "크라우드소싱 AI 벤치마크, 심각한 결함 있다"
전문가들이 AI 벤치마킹을 위해 크라우드소싱된 결과를 비판했습니다. 주요 인물인 Emily Bender와 Asmelash Teka Hadgu는 Chatbot Arena와 같은 플랫폼이 모델 성능을 잘못 측정하여 성능을 오용할 수 있다고 주장했습니다. 권장 사항으로는 평가자에게 보상을 제공하고 벤치마크가 적응적이며 응용 프로그램에 특화되도록 하는 것이 있습니다. 이는 과거 데이터 레이블 지정 관행과 유사성이 있다고 지적되었습니다.
핵심 정리
- AI 연구소들이 Chatbot Arena와 같은 크라우드소싱 플랫폼을 더 많이 사용하여 모델을 벤치마킹하고 있습니다.
- Emily Bender를 중심으로 이러한 벤치마킹의 윤리적, 학술적 타당성에 대한 우려가 제기되고 있습니다.
- 벤치마킹이 마케팅을 위해 과대 홍보되는 모델 주장에 악용되고 있다는 비판이 있습니다.
- 데이터 레이블링에서 보이는 악용적인 관행을 피하기 위해 평가자들에게 보상을 지급할 것을 요구하는 목소리가 나오고 있습니다.
- 벤치마크 도구를 다양화하고 특정 사용 사례에 맞게 적응시키는 제언이 있습니다.
왜 중요한가
- 크라우드소싱 평가 방법에 대한 비판은 AI 책임성과 투명성 유지에 대한 산업 전반의 과제를 반영하고 있습니다.
- 급속한 기술 발전과 계속되는 디지턈 전환 속에서 AI 벤치마킹의 진화가 중요합니다.
- 데이터 라벨링의 역사적인 문제는 AI 개발에서 윤리 고려 사항을 다루는 필요성을 강조합니다.
크라우드소싱된 AI 기준에 대한 논의는 윤리와 정확성을 보장하는 개선된 평가 방법이 필요함을 강조하며, 산업의 신속한 발전과 이전의 악용사례에서 얻은 교훈과 조화를 이룹니다.