位置エンコーディングPositional Encoding

順番を失ってしまう構造

文を一語ずつ順に渡しながら処理していた以前の方式には、順番の問題がありませんでした。処理する順番がそのまま順番だったからです。その代わり遅かったのです。

今使われている方式は、すべての場所が互いを一度に見ます。おかげでとても速くなりましたが、代償が生まれました。全員が同時に互いを見ると、誰が先に出てきたのかわかりません。「犬が猫を追いかけた」と「猫が犬を追いかけた」が、同じ単語の集まりに見えてしまいます。

そのため文を入れる前に、順番の印を付けておく必要があります。この印がなければ、単語の順番をいくら入れ替えてもモデルの結果は変わりません。

番号を内容に足します

印は断片の横に別々に付くのではありません。断片の内容を表す数字の並びに、同じ大きさの順番の数字の並びを足して一つにします。すると、その場所の値には「何であるか」と「何番目か」が一緒に入ることになります。

足して混ぜても構わない理由は、収める場所に十分な余裕があるからです。数字の並びの項目は数百から数千あり、内容と順番が互いに違う方向へ収まる余地があります。学習を経て、モデルは二つを見分けて読む方法を身につけます。

印を作る二つの系統

最初に提案された方式は、人が決めた規則で印を作りました。いくつもの周期の波を重ねて、場所ごとに違う模様が出るようにするやり方です。学習が要らず、学習時に見たことのない長さにもそのまま番号を振れるという利点があります。

もう一つの系統は、印そのものを学習で決めさせる方式です。場所ごとに数字の並びを一つずつ用意し、学習中に値が合うようにします。データに合った印が得られますが、あらかじめ用意した場所数を超えると、付ける番号がなくなります。

絶対番号より二つの間の距離

何番目かをそのまま記す方式には弱点があります。同じ文が文書の前のほうにあるか後ろのほうにあるかで番号がまったく変わってしまいますが、実際に大事なのは「この単語とあの単語が何マス離れているか」であることが多いのです。

そこで最近は、二つの場所の距離そのものが計算に表れるように作った方式が広く使われています。場所の番号に応じて値を少しずつ回転させ、二つの場所を見比べるときに自然とその間の距離が反映されるようにする方法です。前後どこに置かれても同じ間隔なら同じ関係として読まれるので、長い文章でずっと安定します。

座席数を超えると

学習のときに見たことのない、とても遠い場所番号が入ってくると、モデルが揺らぎます。劇場にない座席番号が書かれたチケットを受け取ったようなものです。文章が急に不自然になったり、前の部分を見失ったりすることが起きます。

コンテキストウィンドウを広げる作業が単に数字を大きくするだけの問題ではない理由がここにあります。印を広い範囲に合わせて調整し直し、伸びた長さで少し追加学習させる過程が一緒に必要です。