arXiv 2610.29545
PACE：4ビット再帰状態の周期的・チャネル整列エンコーディング
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
AI推薦19
著者: Patrick Haller, Filipe Laitenberger, Alan Akbik
概要
著者らは、線形注意言語モデルの再帰状態を対象とする、事後適用型の4ビット量子化器PACEを提案します。PACEは生成トークンを数個ごとに一度だけ状態を丸めて、その間のトークンはバッファに保持します。また、gated-deltaの状態で大きな値が列方向にまとまることを利用し、列ごとに量子化スケールを共有します。誤差を最も長く保持するヘッドは8ビットのままにします。
はじめに
線形注意モデルはシーケンスごとに固定サイズの再帰状態を保持するため、この状態を低精度で保存すると、1つのアクセラレータで同時に処理できるシーケンス数が増えます。既存の量子化器はトークンごとに丸めを行い、先行研究では、ビット幅を上げるかファインチューニングしない限り4ビットでは精度が落ちると報告されています。
結果
4Bから35Bパラメータの4つのハイブリッドモデルで、4ビットと8ビットを混在させたヘッドのPACEは、大きい3モデルにおいて8ビットのDAMPに匹敵する性能を、そのメモリの約3分の2で達成します。また、数トークンごとに丸めても、バッファによるデコード速度の向上は維持されます。
結論
学習なしで4ビットの再帰状態を使い、精度をあまり失わずに同時処理できるシーケンス数を増やせる点で実用的な意義があります。