arXiv 2610.22169
語彙的参照フレーム：ネイティブ意味論によるLM残差ストリームの解釈
Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
AI推薦20
著者: Jian Gu, Hongyu Zhang, Chunyang Chen, Aldeida Aleti
概要
著者らは、あらゆる隠れ状態には、それを次に読むレイヤーによって定まり文脈に応じて適応する固有の参照フレームがあると主張します。語彙的参照フレームは、指定した回数のアテンションラウンドと残りの部分に対する典型的なアテンション出力を用いて、モデルの残りのレイヤーで状態を読むことでこのフレームを近似し、モデルの出力に何も適合させません。
はじめに
既存の言語モデル残差ストリームの読み取り手法は、固定されたレンズを再利用するか、隠れ状態を点群として扱うかのいずれかであり、どちらもモデルが実際に状態を読む方法では読めません。
結果
一次のフレームであるLexFrame[1]は、SmolLM3-3Bと OLMo3-7Bの中間深度でそれぞれ0.97と0.97に達し、レンズの上限である0.30と0.35を大きく上回ります。さらに、状態をモデル出力から0.16 nats以内で読み取り、確信度の高い読み取りにより、早期終了でレイヤーの0.45と0.42をスキップできる一方、レンズはほとんどスキップできません。
結論
あらゆる隠れ状態を読み取り、寄与を帰属させ、操作できるようにすることで、外部からの当てはめではなく、モデル自身の計算に沿った解釈ツールが得られます。