보관된 글 — US — techcrunch
이제 사람들은 AI 성능 평가에 Super Mario를 사용하고 있다
UC San Diego의 Hao AI Lab 연구자들이 슈퍼 마리오 브라더스를 사용하여 AI를 벤치마킹한 결과, Anthropic의 Claude 3.7이 OpenAI의 GPT-4o를 포함한 다른 모델들보다 뛰어났음을 발견했습니다. 이 연구는 실시간 게임에서 추론 모델이 결정을 느리게 내리는 것으로 인한 도전에 대해 강조하며, AI 능력을 평가하는 데 게임 벤치마킹의 중요성에 대한 논의를 촉발시켰습니다.
핵심 정리
- 하오 AI 연구소는 에뮬레이터와 GamingAgent 프레임워크를 사용하여 수퍼 마리오 브라더스에서 AI 성능을 테스트했습니다.
- Anthropic의 Claude 3.7이 Claude 3.5, 구글의 Gemini 1.5 Pro, 그리고 OpenAI의 GPT-4o를 포함한 다른 모델들보다 우수한 성과를 거뒀습니다.
- 모델들은 게임 내에서 탐색하기 위한 지침을 받았고, 파이썬 코드를 통해 행동을 생성했습니다.
- 추론 모델은 실시간 게임 중에는 성능이 떨어졌는데, 이는 행동을 결정하는 데 더 많은 시간이 걸리기 때문입니다.
- 이 연구는 AI 평가를 위한 게임 벤치마크의 타당성에 대한 우려를 부각시킵니다.
왜 중요한가
- AI 게임 벤치마크는 역사적 선례를 갖고 있지만, 이제 실제 세계 AI 능력과의 연관성에 대해 의문을 제기받고 있습니다.
- 2025년 현재, AI 성능을 평가하는 의미 있는 지표가 무엇인지에 대한 토론이 계속되고 있습니다. 특히 동적 환경에서의 성능을 평가하는 데 중요한 요소로 간주되고 있습니다.
- AI 응용 프로그램의 증가하는 복잡성은 전통적인 지표를 넘어 벤치마킹 실천의 진화하는 성격과 함께 나타나고 있습니다.
AI의 슈퍼 마리오 브라더스 게임에서의 탐구는 벤치마크의 효과성에 대한 중요한 질문을 제기하며, 실제 세계 적용 가능성을 평가할 더 견고한 지표가 필요하다는 것을 시사합니다.