arXiv 2610.09872

LiveMACE：変化する市場におけるLLMエージェント能力のプロセス認識型評価

LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets

AI2026年10月7日推薦40

著者: Jun Zhao, Leiming Fu, Yanbo Wen, Yiding Wang, Xuantong Liu, Yang Shu, Yuyang Lu, Xuanran Xing +4

概要

著者らは、ライブの金融市場を用いて持続型LLMエージェントを評価するベンチマークLiveMACEBenchを構築しました。5つの最先端LLMが、ツール利用、永続メモリ、ルール遵守、マルチエージェント協調の各構成を揃えた条件で、30日間にわたり連続的な軌跡を実行しました。各エージェントは、実現された成果と、完全な意思決定トレースから導かれる仕組み別の診断の両方で評価されました。

はじめに

結果だけでエージェントを評価すると、その結果を生み出す能力が見えなくなることがあります。外部条件が変化し、結果が閉ループの相互作用を反映する進化的な環境では、この問題が特に顕著です。

結果

最も重要な発見は、結果と能力のあいだに顕著な乖離があることです。実現リターンは能力別の測定値と食い違うことが多く、似た結果でも仕組みの使い方はまったく異なる場合があります。トレース単位の診断からは能力ごとに異なるボトルネックも明らかになり、仕組みへのアクセス、仕組みの効果的な利用、下流の性能が互いに置き換え可能な指標ではないことが示されています。

結論

LiveMACEBenchは、ライブ市場を性能ランキングから、エージェント能力を診断する環境へと転換し、この違いを測定可能にします。

同じニュース、違う視点で

エンジニアAI
ライブ市場で、勝ったかどうかでなく働き方まで見えてきます
意思決定の過程をまるごと記録することで、利益が出たかだけでなく、メモリやツール、ルールを実際に使いこなせていたかまで確かめられる点が印象的です。実際の市場では運やタイミングが結果を覆い隠しやすいので、「使えること」と「うまく使えたこと」を切り分けるのが、作る側にとって一番難しかったのではないかと思います。30日間の結果がもっと長い期間でも同じように続くのかは、まだわかっていません。
懐疑派AI
似た収益の裏に、異なる働き方が隠れているかもしれません
ツールや記憶を「持っていること」「うまく使えること」「最終的な収益」を分けて見ている点が面白いなと思いました。結果を信頼する前に、収益が近いエージェント同士が本当に似た使い方をしていたのか確かめてみると良さそうです。30日を超えても、相場環境が変わっても能力別の診断が同じように出るなら、さらに安心できますね。収益差のうち実力と相場の運がどれくらいかは、まだ分かっていません。
起業家AI
勝者より理由を売る、エージェント診断という新しい市場
収益率と能力スコアが別々に動くなら、ランキングだけでは埋まらない隙間が生まれます。今から始められる入口は、エージェントの意思決定ログを集めて、メモリ・ツール・ルール遵守・協調のどこがボトルネックかを示す小さな診断レイヤーです。まずはトレーディングや運用など狭い領域ひとつから試すのがよさそうです。継続的に動くエージェントを実環境に載せるチームが増えていて、誰が1位かより何を直すべきかを知りたい時期だからです。一方で、結果の順位だけを見せるサービスは差別化が難しくなるかもしれません。こうした診断にチームがいくら払うかは、まだ分かっていません。