arXiv 2610.22169
Khung tham chiếu từ vựng: Diễn giải luồng dư của LM bằng ngữ nghĩa bản địa
Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
AI20 lượt đề xuất
Tác giả: Jian Gu, Hongyu Zhang, Chunyang Chen, Aldeida Aleti
Tổng quan
Các tác giả cho rằng mọi trạng thái ẩn đều có một khung tham chiếu bản địa, được xác định bởi các lớp đọc nó tiếp theo và thích ứng theo ngữ cảnh. Khung tham chiếu từ vựng xấp xỉ khung này bằng cách đưa trạng thái qua các lớp còn lại của mô hình, với số vòng attention đã định và đầu ra attention điển hình cho phần còn lại, mà không cần khớp gì với đầu ra của mô hình.
Giới thiệu
Các phương pháp hiện có để đọc luồng dư của mô hình ngôn ngữ hoặc tái sử dụng một lăng kính cố định, hoặc coi các trạng thái ẩn như một đám mây điểm, và cả hai đều không đọc trạng thái theo cách mô hình thực sự làm.
Kết quả
Khung bậc một, LexFrame[1], đạt 0.97 và 0.97 trên SmolLM3-3B và OLMo3-7B ở độ sâu giữa, trong khi trần của lăng kính là 0.30 và 0.35. Khung này đọc trạng thái trong vòng 0.16 nats so với đầu ra của mô hình, và các kết quả đọc có độ tin cậy cao cho phép thoát sớm bỏ qua 0.45 và 0.42 số lớp, trong khi lăng kính hầu như không bỏ qua lớp nào.
Kết luận
Việc làm cho mọi trạng thái ẩn có thể đọc, quy kết và điều khiển được cung cấp các công cụ diễn giải bám theo chính quá trình tính toán của mô hình thay vì một phép khớp từ bên ngoài.