arXiv 2610.29545
PACE: 4비트 순환 상태의 주기적·채널 정렬 인코딩
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
AI추천 19
저자: Patrick Haller, Filipe Laitenberger, Alan Akbik
개요
저자들은 선형 어텐션 언어 모델의 순환 상태를 위한 사후(post-hoc) 4비트 양자화기 PACE를 제안합니다. PACE는 생성된 토큰 여러 개마다 한 번씩만 상태를 반올림하고 중간 토큰은 버퍼에 보관하며, 큰 gated-delta 상태 값이 열 방향으로 모이는 점을 이용해 열마다 하나의 양자화 스케일을 공유합니다. 오차를 가장 오래 유지하는 헤드는 8비트로 유지합니다.
소개
선형 어텐션 모델은 시퀀스마다 고정 크기의 순환 상태를 유지하며, 이 상태를 낮은 정밀도로 저장하면 하나의 가속기에서 더 많은 시퀀스를 동시에 처리할 수 있습니다. 기존 양자화기는 매 토큰마다 반올림하며, 선행 연구는 비트 수를 높이거나 미세 조정하지 않으면 4비트 상태가 정확도를 잃는다고 보고했습니다.
결과
4B에서 35B 파라미터 규모의 하이브리드 모델 네 개에서, 4비트와 8비트가 섞인 헤드를 쓰는 PACE는 큰 세 모델에서 8비트 DAMP와 견줄 만한 성능을 약 3분의 2 메모리로 달성합니다. 또한 몇 토큰마다 반올림해도 버퍼가 제공하는 디코딩 속도 향상이 유지됩니다.
결론
학습 없이 4비트 순환 상태로 더 많은 동시 시퀀스를 처리할 수 있게 해 주며, 정확도 손실은 크지 않다는 점에서 의미가 있습니다.