arXiv 2610.05114
Belief-Trajectory Energy：予測に至る経路の測定
Belief-Trajectory Energy: Measuring the Path to a Prediction
AI推薦15
著者: Jiahao Ying, Wei Tang, Boxian Ai, Yaoning Wang, Haotian Chen, Wenhe Sun, Caijun Xu, Haozhan Cai +2
概要
著者らは、中間状態を共有の予測空間に写像したうえで、入力がLLM内部の層ごとに引き起こす予測の修正によって入力を評価する Belief-Trajectory Energy(BTE) を提案します。BTEはスカラー値または構造化された深さプロファイルとして要約でき、局所的にはFisher-Rao幾何における予測の修正に対応します。
はじめに
LLMはTransformerの層を通じて予測を修正しますが、通常は最終出力しか観測されないため、その出力を形成した経路は失われます。
結果
より豊かなBTE表現は、人間とLLMのレビュー判別で最大0.998のmacro-AUROCに達します。また、8方向の生成器帰属では95.6%の精度を達成し、スカラーBTEは推論タスク全体にわたってモデル基準の難易度信号として機能します。
結論
信念の軌跡は原理に基づきモデルに根ざした信号を与え、学習済みモデル自体がそのデータを特徴づける計測器となりうることを示唆します。