多層パーセプトロンMultilayer Perceptron

升目一つがすること

検査台一つが何をしているかを見ると、残りはすんなり分かります。升目は前から渡ってきた数字を一度に受け取ります。そして数字ごとに決まった大きさを掛けます。この大きさが、その項目をどれだけ重く見るかを決める取っ手です。ある項目には大きな値が、ある項目には0に近い値が付きます。

掛けた値を全部足すと点数が一つ出ます。ここに升目ごとが持つ基準線を一つ足します。この基準線は「よほどでなければ反応しない」「少し似ているだけで反応する」のように升目の性格を決めます。

折り曲げないと層が意味を持ちません

点数をそのまま上の列に渡すと困ったことが起きます。掛けて足す作業を何度繰り返しても、結局は掛けて足す一回と同じになってしまうからです。列を百個重ねても一列と変わらなくなります。

そこで最後に点数を一度折り曲げます。 負の値は押さえて0にし、正の値はそのまま通す方式が最もよく使われます。この一回の折れ曲がりのおかげで、列を重ねることに初めて意味が生まれます。折れた線を何本も重ねると、曲線に近い境界が作れるからです。

前の列が出した点数だけを見て判断します

一列目の検査台は物を直接見ます。二列目からは物を見ず、前の列が出した点数だけを見ます。こうして外から見えず、途中でだけ働く列を隠れ層と呼びます。

一つの升目は前の列のすべての升目と漏れなくつながります。前の列に検査台が十個あれば、後ろの列の升目一つはその十個の点数を全部受け取ります。どれを重く見るかは掛ける大きさが決めます。そのため全結合という名前が付いています。

信号は前から後ろへだけ流れます。後ろの列が前の列に問い返す道はありません。物が入ってから結果が出るまで、一方向にまっすぐ通り抜けます。

正解とずれた分だけさかのぼって直します

掛ける大きさは人が決めてくれません。最初はでたらめに散らばった値から始まります。缶の写真を入れたのにペットボトルという答えが出れば、どれだけ外れたかを数字で測り、その外れた量を後ろから前へさかのぼりながら大きさを少しずつ押してやります。

このさかのぼりを数十万回繰り返すと、検査台ごとに自分が見るべき項目が自然と決まっていきます。人が光沢や透明さのような項目をあらかじめ教えなくても、資料を分けるのに役立つ基準がひとりでに定まります。

今も大きなモデルの中に入っています

多層パーセプトロンは古い構造ではありません。画像を扱うニューラルネットワークも、文章を扱う大きな言語モデルも、中を開けばこの構造が層ごとに組み込まれています。アテンションのような装置が情報を集めてきても、その結果を実際にこねる場所には、依然として掛けて足し一度折り曲げる升目があります。

巨大なモデルの重さの大部分が、実はこの部分に集中していることもあります。構造が単純な分だけ計算が速く、必要なら升目の数を増やすだけで容量を増やしやすいからです。