arXiv 2610.20951

LEV: ループ型決定モデルによる高速かつ深い思考

LEV: Thinking Fast and Deep with Looped Decision Models

AI2026年10月14日推薦22

著者: Dingjie Song, Zhiling Yan, Yuxuan Zhang, Lichao Sun

概要

本研究は、追加のトークンを生成する代わりに層をループで再実行することで推論の深さを増す決定モデルLEVを提案します。LEVはループとして事前学習された言語モデルから出発し、各ループステップで選択肢を読み取り、全ステップを同時に学習することで、1つのチェックポイントがどの深さでも回答できるようにします。小さなstopperが、ラベルのない要求から当てはめた閾値を用いて、質問ごとに深さを決めます。

はじめに

決定モデルは一度の順伝播で回答するため深さが固定され、易しい質問にも難しい質問にも同じ計算を費やします。テキストで推論するモデルは長く考えられますが、追加のステップごとにデコードされたトークンのコストを支払う必要があります。

結果

同じ重みのままループ深さを増すと精度が上がり、2.6BのLEVはJevBenchで深さ1の63.2%から深さ4の76.2%に向上します。質問ごとの深さ制御により、精度低下を1ポイント未満に抑えながら計算量を15%から24%削減します。

結論

テキストを生成せずに質問ごとに計算量と精度を調整できるため、遅延に敏感なシステムにとって重要です。