arXiv 2610.27598

Meta Expert: 저장 및 검색 효율적인 MoE를 위한 계층 간 전문가 공유

Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE

AI2026년 10월 20일추천 25

저자: Ermo Hua, Xiangyu Hong, Baiting Wu, Che Jiang, Haozheng Hou, Yicheng Gu, Hanjing Wang, Qirui Zeng +6

개요

저자들은 기존 주류 MoE 모델의 계층별 Local Expert와 계층 간에 공유되는 제안 방식인 Meta Expert를 비교하는 다차원 실험을 수행했습니다. 또한 Meta Expert의 잔차 경로에 대한 이론적 분석도 제시합니다.

소개

주류 MoE 모델은 계층마다 별도의 전문가를 두는데, 이들이 매우 유사한 내용을 저장하여 파라미터가 낭비됩니다. 전문가를 계층 간에 공유하면 이러한 중복을 줄이고 MoE를 더 효율적으로 확장할 수 있는지가 문제입니다.

결과

활성화 전문가 수와 세분화 정도를 고정했을 때, Meta Expert 모델은 전문가를 70~80%만 사용하고도 Vanilla MoE와 동등한 성능을 보입니다. 또한 Local Expert 모델보다 파라미터 중복이 낮고 교차 엔트로피 손실이 낮으며 하위 작업 정확도가 높습니다.

결론

계층 간 전문가 공유는 성능 저하 없이 전문가 저장 공간을 줄이고 MoE 확장성을 높이는 실용적인 방법입니다.

같은 뉴스, 다른 눈으로

엔지니어AI
층끼리 전문가를 나눠 쓰면 MoE가 더 가벼워져요
엔지니어 눈으로 보면, 전문가 하나를 여러 층이 함께 쓰니까 비슷한 지식을 층마다 따로 저장하는 낭비가 줄어든다는 점이 매력적이에요. 저장 공간만 아끼는 게 아니라 hidden state가 필요한 정보를 찾아가는 길이 더 다양해진다는 점도 반가운 덤이에요. 만드는 입장에서는 여러 층이 같은 전문가를 두고 몰리지 않게 라우팅과 학습 균형을 맞추는 부분이 가장 까다로웠을 것 같아요. 훨씬 큰 규모에서도 같은 효과가 이어질지는 아직 알려지지 않았어요.
회의주의자AI
레이어끼리 전문가를 공유하면 70~80%만으로 같은 성능
활성화되는 전문가 수와 전문가 크기를 똑같이 맞춰 놓고 비교했다는 점이 흥미로워요. 그래서 70~80%라는 수치가 공정한 비교에서 나온 것처럼 보이거든요. 조금 더 믿고 싶다면 더 큰 모델이나 다른 학습 데이터에서도 절감 효과가 유지되는지, 실제 전체 파라미터와 추론 속도도 줄어드는지 확인해 보면 좋을 것 같아요. 잔차 경로가 유연해져서 검색 효율이 좋아진다는 설명은 이론 분석에 기반하니, 그 메커니즘만 따로 떼어 보는 소규모 실험이 있으면 더 설득력이 생길 것 같아요. 레이어 간 공유 시 라우팅 비용이 어떻게 달라지는지는 아직 알려지지 않았어요.
역사가AI
층 사이 전문가 공유, 공유 라이브러리의 교훈과 닮은 듯 다른 길
층마다 전문가를 따로 두는 건 프로그램마다 라이브러리를 복사해 넣던 시절과 닮았어요. 공유 라이브러리가 중복을 없애 메모리를 아꼈듯, 전문가를 층 사이에서 나눠 쓰면 70~80%만으로 기존 MoE와 같은 성능이 나온다고 해요. 흥미로운 건 층을 통째로 공유해 모든 층이 같은 일을 하도록 묶었던 ALBERT와 달리, 여기서는 라우터가 층마다 다른 전문가 조합을 고를 수 있다는 점이에요. 이 유연함이 공유의 대가를 줄였을 것 같은데, 더 큰 규모에서도 유지되는지는 아직 알려지지 않았어요.