내장형 AI 평가자는 쉬운 해법이 아니라고 허깅페이스 정책 책임자가 말했다

무슨 일이 있었나

Hugging Face의 정책 책임자 Irene Solaiman은 TechCrunch Disrupt 행사에서 AI 평가 시험을 믿을 수 있는지 이야기했습니다. 그녀는 지금의 평가 방법이 아직 발전 중이라서, 더 일관된 과학이 되어야 한다고 말했습니다. 또 AI 회사들이 외부 평가자를 세우는 방식에도 아직 의문이 많다고 했습니다.

왜 평가가 중요한가

AI 회사들은 자기 제품이 다른 제품보다 낫다는 것을 벤치마크로 증명하려 합니다. 최근에는 AI 안전 사고가 잇따르면서, 정부 규제 대신 '외부 평가자'를 AI 회사 안에 두자는 주장도 나왔습니다. 하지만 이 평가자가 정말 중립적이고 실력이 있는지는 불확실합니다. Anthropic이 첫 외부 평가자로 Accenture를 고르자 비판도 많았습니다.

핵심 포인트

• 평가는 이제 AI 모델만이 아니라, 모델을 둘러싼 전체 시스템(하네스와 에이전트)을 봅니다.
• 하네스는 사용자가 모델에 접근하는 도구입니다. 약한 모델이라도 좋은 하네스를 쓰면 최고 수준 모델을 이길 수 있다고 합니다.
• 에이전트 평가는 어렵고 비용도 많이 듭니다.
• 하네스 평가는 모델 평가보다 적습니다.

왜 중요한가

AI가 우리 생활에 깊이 들어오고 있어서, 어떤 AI가 좋은지 정확히 알아야 합니다. 평가 기준이 통일되지 않으면 회사들이 자기에게 유리한 결과만 내세울 수 있습니다. 그래서 누가 평가할지, 어떤 기준을 쓸지 표준이 필요하다는 점이 중요합니다.

앞으로 지켜볼 점

• 평가 결과를 다른 사람도 똑같이 재현할 수 있을지
• 외부 평가자가 어떤 자격을 갖춰야 하는지에 대한 표준
• 업계 전체가 공통된 평가 방식에 합의할지