People are benchmarking AI by having it make balls bounce in rotating shapes

최근 AI 커뮤니티에서 인공지능 모델들의 합리성 모델이라 불리는 이유(Reasoning Models)가 어떻게 “회전하는 모양 안에 튕기는 노란색 공을 만드는 파이썬 스크립트를 작성한다”는 벤치마크에 어떻게 대응하는지에 관한 테스트에 대해 논의되고 있습니다. 이러한 벤치마크를 기반으로 한 결과들은 제각기 다르게 나타납니다. 예를 들어, DeepSeek의 R1이 OpenAI의 o1 pro mode보다 더 나은 성과를 거두었고, 일부 다른 모델들은 물리학을 잘못 이해하여 공이 도망치는 결과가 있었습니다.

개인적으로 이러한 벤치마크를 통해 AI가 회전하는 모양 안에 튕기는 공을 만드는 파이썬 스크립트를 작성할 수 있는지 여부가 어떤 의미가 있는지 고민해 보아야 합니다. 이는 전통적인 프로그래밍 도전과제인데, 이를 성공적으로 수행하려면 충돌 검출 알고리즘 등이 정확하게 구현되어야 합니다. 치명적인 오류가 발생하거나 명백한 물리학적 실수로 이어질 수 있는 안 좋은 알고리즘이 작성되어 있는 경우도 있습니다.

그러나 이러한 테스트는 AI 모델의 실제적인 능력을 측정하는 것에는 한계가 있습니다. 프롬프트의 작은 변화에도 결과가 달라지는 것으로 나타나고 있어, 이는 대부분의 사람들에게는 관련이 없는 특이한 벤치마크 외의 것으로 보입니다.

따라서 이러한 바이럴 테스트들은 AI 모델의 유용한 측정 시스템을 만드는 것이 어려운 문제를 보여줍니다. 일반인들에게는 관련이 없는 난해한 벤치마크 외의 것으로 하나의 모델과 또 다른 모델을 차별화하는 것이 어렵다는 점을 명시적으로 보여줍니다.

현재는 ARC-AGI 벤치마크나 Humanity’s Last Exam과 같은 보다 나은 테스트 구축을 위한 다수의 노력이 이뤄지고 있습니다. 이러한 노력들이 어떻게 나아지는지 좀 더 살펴봐야 할 것이며, 그동안 회전하는 모양 속에서 튕기는 공의 GIF 애니메이션을 관찰하면서 기다려야 할 것입니다.