専門家混合Mixture of Experts

案内板が担当の分岐を選びます

モデルを通過する断片一つ一つについて、分岐を選ぶ小さな板がまず点数をつけます。この断片は3番分岐と7番分岐へ送れ、次の断片は1番と3番へ送れという具合です。たいてい数十ある分岐のうち二つほどだけを選びます。

選ばれた分岐を通った結果はまた一つに合わさります。このとき単純に足すのではなく、案内板がつけた点数の比率どおりに混ぜます。より確信を持って選んだほうの意見に重みをより多く与えるわけです。

案内板も一緒に学習されます。最初は適当に分けていますが、訓練が進むにつれて、どの断片をどこへ送ったときに結果が良かったかによって基準が固まっていきます。人が分岐ごとに担当を決めてやるわけではありません。窓口の番号札発行機が、客の並び具合を見ながら少しずつ賢くなっていくようなものです。

大きさは大きくても毎回動くのは一部です

普通のモデルは断片一つが通るたびに、中にある値をすべて一度ずつ使います。モデルを二倍にすると計算量も二倍になり、答えが遅くなって費用も二倍かかります。

専門家混合はこの鎖を断ち切ります。分岐を八つに増やしても毎回動くのは二つだけなので、モデルが持つ知識の量は増えつつ、一回の計算にかかる仕事量はほとんどそのままです。だからこういうモデルを紹介するときは数字が二つ出てきます。全体の大きさと、一回に実際に使われる大きさです。前の数字だけを見て性能や必要な機材を見積もるとずれます。

大きさを増やす安上がりな方法に見えますが、限界もはっきりしています。分岐をどれだけ増やしても、断片一つが通り抜けながら得る計算の深さはそのままなので、増やした分だけ賢くなるわけではありません。

分岐は分野担当ではありません

名前が専門家なので、ある分岐が数学、別の分岐が翻訳を担当する姿を思い浮かべやすいです。実際にのぞいてみるとそこまできれいではありません。ある分岐は句読点が多く集まり、ある分岐は特定の言語の助詞に反応し、大半は人の言葉で説明しづらい基準で分かれています。

同じ文の中でも断片ごとに行き先が違います。一つの文をまるごと一つの分岐が処理するのではなく、断片単位で毎回新しく分かれては合わさります。分岐を一つ取り出して別に使うことができない理由です。

場所は全部確保しておかなければなりません

計算は減っても、メモリは減りません。どの断片がどの分岐へ行くか前もってわからないので、すべての分岐をいつでも使えるよう載せておかなければなりません。全体の大きさが大きいモデルは、それでも大きな機材を要求します。個人用コンピューターで動かしにくい理由でもあります。

偏りも問題です。放っておくと人気のある分岐に断片が集まって、ある分岐はいつも混雑し、ある分岐はほとんど遊んでいる状態になります。遊んでいた分岐は学習が進まずさらに使われにくくなっていきます。だから訓練するときは一つの分岐に集中したら損をする仕掛けを一緒に入れ、一つの分岐が受け取れる断片数に上限を設けることもあります。上限を超えて押し出された断片は、その層をそのまま素通りします。