GVS5H 하네스를 사용해 Qwen3.8-27B 모델 5개가 Fable 5와 맞먹는다

무슨 일이 있었나

연구자들은 '관리자 방식'이라는 방법을 만들었습니다. 같은 모델의 새 복사본 여러 개가 문제를 작은 조각으로 나누고, 공유 폴더에 계획, 메모, 현재 답안을 적어 가며 협력합니다. 추가 학습은 필요 없습니다. 이 방법을 최신 어려운 코딩 문제 100개(LiveCodeBench)에 적용했습니다.

핵심 숫자

• Qwen3.8-27B 모델의 정답률은 66.8%에서 92.4%로 올랐습니다.
• Qwen3.8 Flash Next를 이 방식으로 돌리면 93.0%를 기록했습니다. 비교 대상인 Claude Fable 5는 90.4%였습니다.
• Flash Next의 비용은 Fable 5의 약 9%였습니다.
• 11개 공개형·비공개형 모델을 테스트했고, 최대 25.6%포인트 향상되었습니다.
• 모든 모델이 좋아진 것은 아닙니다. 어떤 모델은 그대로이거나 오히려 나빠졌습니다.

알아두면 좋은 배경

정답률은 AI가 한 번에 맞힌 비율(pass@1)로 측정합니다. 공개형 모델은 누구나 내려받아 자기 컴퓨터에서 돌릴 수 있는 모델입니다. 반면 비공개형 모델은 회사의 서버를 통해서만 쓸 수 있습니다. 이 프로젝트는 큰 모델을 새로 만드는 대신, 기존 모델을 여러 번 나눠 쓰는 방법으로 성능을 높이려 합니다.

왜 중요한가

비싼 최신 모델 없이도 비슷한 코딩 실력을 얻을 수 있다면, 학교나 작은 팀도 더 싸게 AI를 쓸 수 있습니다. 또한 자기 서버에서 돌릴 수 있는 공개 모델로도 높은 성능을 낼 수 있다는 점이 흥미롭습니다. 다만 이 결과는 한 벤치마크와 연구팀의 실험에 기반하므로, 실제 모든 상황에서 같은 결과가 나올지는 더 확인이 필요합니다.

앞으로 지켜볼 점

• 다른 문제 묶음이나 실제 개발 업무에서도 같은 성능 향상이 나오는지
• 점수가 떨어지거나 오르지 않은 모델이 왜 그런지에 대한 분석
• Opus 5 같은 다른 모델을 같은 조건으로 비교한 결과
• 논문과 코드가 공개된 뒤 다른 연구자들이 결과를 재현하는지