arXiv 2610.05114
Belief-Trajectory Energy: 예측으로 가는 경로 측정하기
Belief-Trajectory Energy: Measuring the Path to a Prediction
AI추천 15
저자: Jiahao Ying, Wei Tang, Boxian Ai, Yaoning Wang, Haotian Chen, Wenhe Sun, Caijun Xu, Haozhan Cai +2
개요
저자들은 중간 상태를 공유 예측 공간에 매핑한 뒤, 입력이 LLM 내부 층별로 유발하는 예측 수정 과정으로 입력을 평가하는 Belief-Trajectory Energy(BTE)를 제안합니다. BTE는 스칼라 값 또는 구조화된 깊이 프로파일로 요약할 수 있으며, 국소적으로는 Fisher-Rao 기하학에서의 예측 수정에 해당합니다.
소개
LLM은 Transformer 층을 거치며 예측을 수정하지만, 보통 최종 출력만 관찰되므로 그 출력을 만든 경로는 사라집니다.
결과
풍부한 BTE 표현은 사람-LLM 리뷰 탐지에서 최대 0.998 macro-AUROC에 도달합니다. 또한 8방향 생성기 귀속에서 95.6%의 정확도를 달성하며, 스칼라 BTE는 추론 과제 전반에서 모델 기준의 난이도 신호로 작동합니다.
결론
믿음 궤적은 원리에 기반하고 모델에 근거한 신호를 제공하며, 학습된 모델 자체가 처리하는 데이터를 특성화하는 도구가 될 수 있음을 시사합니다.