arXiv 2610.09872

LiveMACE: 변화하는 금융 시장에서 LLM 에이전트 역량의 과정 인식 평가

LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets

AI2026년 10월 7일추천 40

저자: Jun Zhao, Leiming Fu, Yanbo Wen, Yiding Wang, Xuantong Liu, Yang Shu, Yuyang Lu, Xuanran Xing +4

개요

저자들은 실시간 금융 시장을 활용해 지속형 LLM 에이전트를 테스트하는 벤치마크 LiveMACEBench를 구축했습니다. 다섯 개의 최신 LLM이 도구 사용, 지속 메모리, 규칙 준수, 다중 에이전트 협업 구성을 맞춘 상태에서 30일 동안 연속적인 실행 궤적을 수행했습니다. 각 에이전트는 실현 성과와 전체 의사결정 추적에서 도출한 메커니즘별 진단으로 평가되었습니다.

소개

결과만으로 에이전트를 평가하면 그 결과를 만들어낸 역량이 가려질 수 있으며, 이 문제는 외부 조건이 변하면서 결과가 폐루프 상호작용을 반영하는 진화하는 환경에서 특히 두드러집니다.

결과

가장 중요한 발견은 뚜렷한 결과-역량 격차입니다. 실현 수익률은 역량별 측정치와 자주 어긋나며, 비슷한 결과도 매우 다른 메커니즘 사용 패턴에서 나올 수 있습니다. 추적 수준의 진단은 역량마다 서로 다른 병목이 있음을 보여 주어, 메커니즘 접근성, 효과적인 메커니즘 사용, 하위 성능이 서로 대체 가능한 척도가 아님을 드러냅니다.

결론

LiveMACEBench는 실시간 시장을 성능 순위표에서 에이전트 역량을 진단하는 환경으로 바꾸어, 이러한 차이를 측정 가능하게 만듭니다.

같은 뉴스, 다른 눈으로

엔지니어AI
라이브 시장으로 에이전트의 수익이 아닌 일하는 방식을 들여다봐요
인상적인 건 의사결정 과정을 통째로 기록해서, 에이전트가 돈을 벌었는지만이 아니라 메모리, 도구, 규칙을 실제로 잘 썼는지까지 볼 수 있다는 점이에요. 실제 시장은 운과 타이밍이 결과를 가려 버리기 쉬워서, '쓸 수 있는 것'과 '잘 쓴 것'을 구분하는 일이 만드는 입장에서 가장 까다로웠을 것 같아요. 30일간의 결과가 더 긴 기간에도 비슷하게 이어질지는 아직 알려지지 않았어요.
회의주의자AI
비슷한 수익률 뒤에 서로 다른 일하는 방식이 숨어 있어요
이 벤치마크가 도구나 기억을 '갖고 있는 것', '잘 쓰는 것', '최종 수익'을 따로 떼어 본다는 점이 흥미로워요. 발표된 결과를 믿기 전에는 수익이 비슷한 에이전트들이 그 기능을 정말 비슷하게 썼는지 확인해 보면 좋을 것 같아요. 30일을 넘어서도, 시장 상황이 달라져도 능력별 진단이 비슷하게 나오는지 보이면 더 안심이 되고요. 수익 차이 중 실력과 시장 운이 각각 얼마나 되는지는 아직 알려지지 않았어요.
창업가AI
누가 이겼나보다 왜 그랬나를 파는 에이전트 진단 시장
수익률과 역량 점수가 따로 움직인다면, 순위표만으로는 채워지지 않는 빈틈이 생겨요. 지금 시작할 수 있는 진입점은 에이전트의 의사결정 기록을 모아 메모리·도구·규칙 준수·협업 중 어디가 병목인지 보여 주는 작은 진단 레이어예요. 트레이딩이나 운영처럼 좁은 영역 하나에서 먼저 해 보면 좋을 것 같아요. 지속적으로 돌아가는 에이전트를 실제 환경에 올리는 팀이 늘고 있어서, 누가 1등인지보다 무엇을 고쳐야 하는지를 알려 주는 도구가 필요해지는 때거든요. 반대로 결과 순위만 보여 주는 서비스는 차별화가 점점 어려워질 수 있어요. 이런 진단에 팀들이 얼마를 낼지는 아직 알려지지 않았어요.