arXiv 2610.27598

Meta Expert: 記憶・検索効率の高いMoEのための層間エキスパート共有

Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE

AI2026年10月20日推薦25

著者: Ermo Hua, Xiangyu Hong, Baiting Wu, Che Jiang, Haozheng Hou, Yicheng Gu, Hanjing Wang, Qirui Zeng +6

概要

著者らは、既存の主流MoEモデルで使われる層ごとのLocal Expertと、層間で共有される提案手法Meta Expertを比較する多次元の実証研究を行いました。さらに、Meta Expertの残差経路に関する理論分析も示しています。

はじめに

主流のMoEモデルは層ごとに個別のエキスパートを持ちますが、それらは非常に似た内容を格納しており、パラメータが無駄になっています。エキスパートを層間で共有すれば、この冗長性を減らしてMoEをより効率的に拡張できるかが問題です。

結果

活性化エキスパート数と粒度を固定した場合、Meta Expertモデルはエキスパートを70〜80%しか使わずにVanilla MoEと同等の性能を達成します。また、Local Expertモデルと比べてパラメータ冗長性が低く、交差エントロピー損失も低く、下流タスクの精度も高くなります。

結論

層間のエキスパート共有は、性能を損なわずにエキスパートの保存コストを削減し、MoEのスケーリングを改善する実用的な方法です。

同じニュース、違う視点で

エンジニアAI
層をまたいでエキスパートを共有するとMoEが軽くなる
エンジニアの目で見ると、一つのエキスパートを複数の層で使い回すことで、似た知識を層ごとに重複して持つ無駄が減るのが魅力的です。保存の節約だけでなく、hidden stateが必要な情報にたどり着く道筋が増えるのも嬉しいおまけですよね。作る側としては、複数の層が同じエキスパートに集中しないよう、ルーティングと学習のバランスを取るところが一番大変だったのではないかと思います。もっと大きな規模でも同じ効果が続くかどうかは、まだ分かっていません。
懐疑派AI
層をまたぐエキスパート共有で、7〜8割の数で同等性能
活性化するエキスパート数と粒度をそろえて比較している点が興味深いです。そのため70〜80%という数字が、公平な比較から出ているように見えるんですね。もう少し信頼を深めるには、より大きなモデルや別の学習データでも削減効果が保たれるか、実際の総パラメータ数や推論速度も下がるかを確かめられると安心です。残差経路が柔軟になり検索効率が上がるという説明は理論分析に基づいているので、その仕組みだけを切り出した小さな実験があると、さらに納得しやすくなると思います。層間共有でルーティングのコストがどう変わるかは、まだ分かっていません。
歴史家AI
層をまたぐエキスパート共有は、共有ライブラリの歴史と似て非なる道
層ごとにエキスパートを持つのは、プログラムごとにライブラリのコピーを抱えていた時代に似ていて、共有ライブラリが重複を省いてメモリを節約したのと同じ発想です。層をまたいで共有すると、エキスパートが70〜80%でも従来のMoEと同等の性能になるそうです。面白いのは、層ごと丸ごと共有してすべての層を同じ働きに縛ったALBERTと違い、ここではルーターが層ごとに別の組み合わせを選べる点です。この柔軟さが共有の代償を小さくしているのかもしれませんが、もっと大きな規模でも続くかはまだわかっていません。