シグモイドSigmoid

端の決まった物差しに移し替える

ニューラルネットワークの中を行き来する値には決まった範囲がありません。前の層から来た値を重みで測って足していくと、とても大きな数もとても小さな負の数も出てきます。シグモイドはその値を受け取り、常に0と1の間のどこか一点へ移します。どれほど大きな正の数でも1に近づくだけで1にはならず、どれほど大きな負の数でも0に近づくだけで0には触れません。

順序は崩れません。より大きな値が入ればより大きな結果が出ます。大小の比較はそのままにしておいて、目盛りだけを狭い物差しに移し替えるわけです。だから、違う場所から出てきた値どうしを同じ基準で比べるのに向いています。

真ん中は敏感で両端は鈍い

この規則の性格は場所によって違います。真ん中の近くでは、入ってきた値が少し動くだけで結果が大きく変わります。反対に両端に離れるほど、値が二倍になろうと三倍になろうと結果はほとんど変わりません。

この性質は判断する場所では長所になります。あいまいな境界では慎重に分かれ、確かな側は確かなまま釘を刺してくれるからです。境界に近い入力ほど結果が敏感に揺れるので、そこに注意を集めたいときにも都合がよいです。根拠がとても強い場合と少しだけ強い場合をあえて区別しないのも自然です。すでに確かな判断をより確かにしても得るものがないからです。

反対に、層の途中で値を運ぶ場所では、この鈍さがそのまま欠点になります。値が少し大きいだけですぐ両端に張り付いてしまい、異なる信号どうしがほぼ同じ値に押しつぶされてしまうのです。

見込みのように読める結果

結果が0と1の間なので、人はこの値をよく確率のように読みます。迷惑メールかどうか、不良品かどうかのように答えが二つに一つの問題で、最後の場所にシグモイドを置く理由です。0.8が出ればその方向に傾くと見て、0.5あたりなら判断を保留したり人に任せたりします。

答えが複数の候補のうち一つのときは事情が違います。候補ごとに別々にシグモイドをかけると、値の合計が1にならず互いに比べにくくなります。こういうときは候補全体を一度に並べて分ける別の規則を使います。逆に複数のラベルが同時に付きうる問題であれば、ラベルごとにシグモイドを別々に置くほうがかえって正しいやり方です。

層の途中ではなぜ外されたのか

以前は層の途中にもシグモイドを使っていました。問題は両端の鈍い性質でした。ニューラルネットワークは間違いの度合いを後ろから前へ送り返しながら学びますが、このとき層ごとにこの規則の傾きが掛け合わされます。両端の傾きは0に近く、最も急な真ん中でさえ1よりずっと小さいのです。

小さな値を層ごとに掛け続けるとどうなるでしょうか。層を十個通っただけで、戻ってくる信号がほとんど消えてしまいます。前のほうの層は学ぶ材料を受け取れないまま最初の状態にとどまります。深いニューラルネットワークの中間の場所を、しきい値一つだけの単純な規則が代わりに担うようになった背景がここにあります。