自己教師あり学習Self-Supervised Learning

正解表が資料の中にあります

教師あり学習でいちばん費用がかかるのは、資料ごとに答えを書いておく作業です。自己教師あり学習はその作業を丸ごと飛ばします。答えを新しく作る代わりに、すでにある資料を半分に割って片方を問題、もう片方を答えとして使うのです。

歯車を抜き取る瞬間に問題と答えが同時に生まれるのと同じです。文から単語を一つ消せば、消した場所が問題になり、消した単語が答えになります。写真の一角を覆えば、覆った部分が答えになります。

だから資料さえあれば問題は無限に作れます。同じ文章でも、どの単語を隠すかによって違う問題が出てくるからです。

何を隠すかが問題を決めます

隠し方によって学ぶものが変わります。文の途中をあちこち隠して前後をすべて見せると、単語どうしの関係を細かく覚えます。文をある地点で切り、後ろを隠したまま続きを書かせると、話が流れる方向を覚えます。二つの方式は目的が違うので、得意な仕事も分かれます。

あまりに簡単に隠すと学ぶことがありません。助詞一つだけ隠すと前後だけで当てられるからです。あまりに多く隠すと手がかりが残らず、いくら見ても当てられません。時計の歯車を半分以上抜いてしまうと元の姿を推測できないのと同じです。ちょうどよく難しい地点を選ぶことがこの方式のこつです。

答えのない資料を丸ごと使えます

インターネットにたまった文章、本、コード、写真には答えが付いていません。人の手で答えを付けようとすれば一生かけても足りません。自己教師あり学習はこの山をそのまま飲み込みます。

大きな言語モデルが短期間で目に見えて良くなった背景にこの方式があります。学習に使える資料の量が、人が答えを付けられる分から世の中にたまった分まで広がったからです。扱う資料の規模が何桁も大きくなりました。

学んだのは感覚であって腕前ではありません

時計を数千個開けてみた人がすぐにお客さんの時計を直せるわけではありません。時計がどんな作りかについての感覚が身についただけです。実際の修理は、その感覚の上に接客や部品の注文といった仕事を別に覚えて初めて完成します。

自己教師あり学習も同じです。隠して当てることで得られるのは資料の結に対する感覚であって、特定の仕事ではありません。だからこの段階を事前学習と呼び、そのあとに答えつきの少ない資料で実際の仕事に合わせる段階が続きます。先に感覚を広く積んでおけば、後の段階に必要な答えの量がぐっと減ります。

文章以外でも通じます

写真では一部を四角く覆ってその中を復元させたり、同じ写真を切り取って色を変えた二枚を互いに同じものと認識させたりします。音では短い区間を消して前後の音で埋めさせます。映像では次の数秒を隠しておいて続く場面を推測させます。

方式は違っても骨組みは同じです。資料を二つに割って片方を隠し、隠した方を正解にするのです。人が答えを書かないという点がすべての場合に共通しています。