読み方：エムオーイー

MoE【Mixture of Experts】混合エキスパート

概要

MoEとは、ニューラルネットワークを構成する手法の一つで、単一の巨大なネットワークを構築する代わりに、特定の処理に特化した複数の小規模なネットワーク（エキスパート）を組み合わせ、入力内容に応じて必要な部分だけを動作させる仕組み。

通常のニューラルネットワークは、どのようなデータが入力されても全パラメータを動かして処理する。モデルの規模が大きくなるほど計算量も増大し、多くの処理能力や電力を要するようになる。MoEはこの課題に対処する構造として採用が進んでいる。

MoEを採用したモデルの内部には多数の「エキスパート」（expert：専門家）と呼ばれる部分ネットワークが構成され、それぞれが異なる処理を担当する。入力データは「ルータ」または「ゲートネットワーク」と呼ばれる制御機構によって分析され、適した少数のエキスパートのみへ振り分けられる。

この方式は「スパース活性化」（sparse activation）と呼ばれる。例えば、エキスパートが8個あり、常に上位2個のみを稼働させる設計の場合、モデル全体のパラメータ総数は多くても、1回の処理で実際に動くパラメータは全体の4分の1程度に限られる。選ばれなかったエキスパートは休止状態に保たれ、計算には関与しない。

モデルの表現力を保ちながら計算量や応答時間を抑えることができ、巨大なモデルを単一のネットワークとして構築するより効率的に近い性能を得られる場合がある。エキスパートごとに異なる知識を学習するため、多様な分野の入力にも対応しやすくなる。処理の割り振りが一部のエキスパートに偏ると性能が低下するため、学習時には負荷を均等化する仕組みも組み込まれる。

MoEの概念自体は1990年代から研究されてきたが、大規模言語モデル（LLM）への本格的な適用が進んだのは2017年以降である。2022年に米グーグル（Google）社が「Switch Transformer」で実用化を示し、2023年に仏ミストラルAI（Mistral AI）社がオープンソースの「Mixtral 8x7B」を公開したことで採用が広がった。現在はGoogleの「Gemini」シリーズや米メタ（Meta Platforms）社の「Llama」シリーズをはじめ、数千億から数兆規模のパラメータを持つ主要な大規模言語モデルの多くがMoEを採用している。

(2026.7.19更新)