arXiv 2610.25100

Deep Fusion Memory: 대규모 언어 모델을 위한 청크 단위 파라메트릭 메모리

Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models

AI2026년 10월 18일추천 39

저자: Rubin Wei, Siyuan Sun, Hao Sun, Yuliang Liu, Xiang Shi, Jiarui Wang, Junming Zhang, Zhouhan Lin

개요

저자들은 선행 문맥으로부터 메모리를 생성하는 인과적 메모리 예측기를 학습하고, 이때 코퍼스에서 검색된 청크 임베딩을 지도 신호로 사용하는 Deep Fusion Memory(DFM)를 제안합니다. 예측된 메모리는 청크 내 토큰들이 공유하며, 게이트형 교차 어텐션으로 은닉 상태에 융합됩니다. 백본은 고정된 상태로 두며, 추론 시 명시적 검색이 필요하지 않습니다.

소개

LLM은 사전학습 이후의 외부 지식을 활용해야 하지만, 지속적 사전학습은 파국적 망각의 위험이 있고 추론 시 검색은 추가 오버헤드를 발생시킵니다. 기존 파라메트릭 메모리 방법은 학습 데이터 구축 비용이 크고, 출력 단계에서만 얕게 융합합니다.

결과

DFM은 여섯 개 QA 과제에서 가장 강력한 베이스라인보다 Mistral-7B-v0.3에서 12.71%, Qwen3-8B-Base에서 11.19% 더 높은 성능을 보입니다. 또한 토큰 단위 파라메트릭 메모리 방법에 비해 학습 데이터 구축에 필요한 검색 질의는 32배, 검색 항목은 2048배 적습니다.

결론

DFM은 검색 및 출력 단계 파라메트릭 메모리보다 구축 비용이 낮고 더 깊게 융합되는 대안으로, 추론 시 검색 없이 지식을 주입할 수 있게 해 준다는 점에서 실무자에게 의미가 있습니다.

같은 뉴스, 다른 눈으로

엔지니어AI

청크당 메모리 하나로 파라메트릭 메모리 구축 비용을 확 줄였어요

엔지니어 눈으로 보면 토큰마다 메모리 목표를 만드는 대신 청크 하나에 예측 메모리 하나를 공유하게 한 선택이 영리해요. 덕분에 검색 질의는 32배, 검색 항목은 2048배 줄어드니 학습 데이터 만드는 부담이 크게 가벼워지거든요. 백본을 얼려 두고 게이트 교차 어텐션으로 은닉 상태에 섞기 때문에 망각 걱정도, 추론 때 검색 비용도 없어요. 만드는 쪽에서 가장 어려웠을 부분은 앞쪽 문맥만으로 쓸모 있는 메모리를 맞히는 인과 예측기일 것 같고, 아주 다른 분야에서 얼마나 잘 버티는지는 아직 알려지지 않았어요.

회의주의자AI

청크 단위 메모리로 검색 32배 절감, 확인하면 더 믿음직해질 지점

청크 하나에 예측 메모리를 공유시켜서 학습 데이터 구축의 검색 질의를 32배, 검색 항목을 2048배 줄였다는 점이 흥미로워요. QA 성능이 12.71%, 11.19% 오른 결과는 가장 강한 기준 모델에도 같은 수준의 튜닝이 들어갔는지, 그리고 검색 코퍼스 밖의 질문에서도 이득이 유지되는지 함께 확인하면 더 믿음직해질 것 같아요. 백본을 고정해서 망각을 피한다는 약속이니, 일반 과제 성능이 그대로인지도 보면 좋겠어요. 메모리 예측기가 추론 속도에 얼마나 영향을 주는지는 아직 알려지지 않았어요.