arXiv 2610.20951
LEV: 루프형 결정 모델로 빠르고 깊게 생각하기
LEV: Thinking Fast and Deep with Looped Decision Models
AI추천 22
저자: Dingjie Song, Zhiling Yan, Yuxuan Zhang, Lichao Sun
개요
저자들은 토큰을 더 생성하는 대신 층을 루프로 다시 실행해 추론 깊이를 늘리는 결정 모델 LEV를 제안합니다. LEV는 루프 방식으로 사전학습된 언어 모델에서 출발하며, 각 루프 단계마다 선택지를 읽고 모든 단계를 함께 학습하여 하나의 체크포인트가 어떤 깊이로도 답할 수 있게 합니다. 작은 stopper가 레이블 없는 요청으로 맞춘 임계값을 이용해 질문마다 깊이를 정합니다.
소개
결정 모델은 한 번의 순전파로 답하므로 깊이가 고정되어 쉬운 질문과 어려운 질문에 같은 계산을 씁니다. 텍스트로 추론하는 모델은 더 오래 생각할 수 있지만 추가 단계마다 디코딩된 토큰의 비용을 치릅니다.
결과
같은 가중치에서 루프 깊이가 늘수록 정확도가 오르며, 2.6B LEV는 JevBench에서 깊이 1의 63.2%에서 깊이 4의 76.2%로 향상됩니다. 질문별 깊이 조절은 정확도 손실을 1%p 미만으로 유지하면서 계산량을 15%에서 24% 줄입니다.
결론
텍스트를 생성하지 않고도 질문마다 계산량과 정확도를 맞바꿀 수 있어 지연 시간에 민감한 시스템에 중요합니다.