モデル構造Model Architecture

図面に書き込まれる三つのこと

一つ目は層の数です。浅く数層だけ積むか、数十から数百層まで上げるかを決めます。層が深いほど複雑な規則を盛り込めますが、その分だけ学習が難しくなります。

二つ目は層ごとに何を置くかです。画像の小さな断片を眺める層、文章の中の断片どうしを互いに見合わせる層、値を整えて渡す層のように、性格の違う部品があります。三つ目はつなぎ方です。まっすぐ上へ通すか、いくつかの層を飛び越える近道を作るか、横に分けて二つの流れを作るかを決める部分です。

図面と家具は別のもの

モデルの話で最もよく混ざる二つが構造と重みです。構造は空っぽの骨組みで、重みは学習でその中に埋め込んだ数字です。構造だけでは何も答えを出せず、重みだけではどこに入れればよいか分かりません。

インターネットで公開されているモデルをダウンロードするとき、ファイルに入っているのはたいてい重みのほうです。構造はそのモデルを定義するコードや設定ファイルに別途書かれています。両方がぴったり合って初めてモデルが動きます。図面なしに家具だけをトラックで運んできたようなもので、どの部屋に何を置くかを教える図面が必ず一緒に必要です。

データの形が構造を決めます

画像は隣り合う点どうしの関係が深いものです。そのため小さな四角い窓を動かしながら眺める構造がよく合います。文章は事情が違います。最初の単語と最後の単語が直接つながることもあるので、離れた断片どうしも互いを直接見合う構造が向いています。

音声は時間の順序が重要で、表にまとめられた数字はごく単純な構造で十分な場合が多いです。構造を選ぶということは、データが持つ性質をあらかじめモデルに伝えておくことです。合った構造を選べば、同じデータでもずっと少ない学習で良い結果が出ます。

設計する人が悩むこと

深く積むか広げるかが最初の分かれ道です。深ければ段階を何度も経て複雑な規則を盛り込め、広ければ一つの層でより多くの情報を一度に扱えます。同じ規模ならどちらが良いかは問題ごとに変わります。

性能だけを見るわけでもありません。答えがどれだけ速く出るべきか、グラフィックメモリに載るか、学習にどれだけ費用がかかるかが一緒についてきます。スマートフォンで動くべきモデルとデータセンターで動くモデルは、そもそも違う設計図から始まります。

構造を変えると学んだ内容をそのまま持ち越せないことも大きな負担です。壁を一つ動かした瞬間、すでに入れておいた家具が合わなくなるからです。そのため、すでに確かめられた設計図をそのまま使い、大きさだけを増やしたり減らしたりする選択がよくあります。新しい設計図を持ち出すには、それだけ確かな利点が必要です。