ByteDance 연구팀, DeepSeek 모델의 불규칙한 장기 맥락 검색 원인 규명

핵심 정리

• 1

  바이트 댄스의 Seed 팀은 chunked KV-cache 압축이 정보 위치에 따라 검색 정확도에 영향을 줄 수 있다는 것을 발견했습니다.

• 2

  압축 창 내에서 위치에 따라 검색 정확도의 변동이 최대 40%포인트까지 차이가 날 수 있습니다.

• 3

  위상 민감성 현상은 일부 위치에서 정보를 검색하기 쉽거나 어렵게 만들 수 있다는 것을 의미합니다.

• 4

  이 연구에 따르면 모델은 평균 점수가 높을 수 있지만 여전히 중요한 검색 문제가 있을 수 있다는 것을 나타냅니다.