モード崩壊Mode Collapse

検査が一枚ずつしか行われません

競い合って学ぶ方式では、作る側と見抜く側が組になります。作る側は本物らしいものを出そうとし、見抜く側は本物と偽物を見分けようとします。この競いが張り詰めているほど結果はよくなります。

問題は、見抜く側が受け取るのが一度に一枚だという点にあります。「この一枚が本物らしいか」には答えられますが、「今日入ってきたものが互いに違うか」には答えられません。多様さはそもそも採点表にない項目です。

だから作る側には多様に作る理由がありません。一番点数の良いものを見つけたなら、それを出し続けるのが一番得です。怠けているのではなく、採点表がそう仕向けた結果です。

追いかけ合いながら一箇所に閉じ込められます

見抜く側もじっとしてはいません。同じものばかり入ってくれば、そのひとつを偽物と見抜く方法を学びます。すると作る側は別のひとつへ移り、見抜く側がまた追いつくとまた移ります。

この鬼ごっこが広く行き渡りながら回ればよいのですが、狭い場所をいくつかぐるぐる回る事態が起こります。多様になるのではなく、ひとつから別のひとつへそっくり乗り換えるだけです。取り出してみると、昨日は全部これ、今日は全部あれという具合です。

数字では気づきにくいです

学習がおかしくなると、たいてい損失の値が跳ね上がったり揺れたりしてすぐ目につきます。モード崩壊はそうではありません。両方の点数がそれらしい場所に留まっているので、表だけ見ると何の問題もなさそうです。

だからこの問題は目で見つけなければなりません。取り出した結果数十枚を一画面に並べると一目で分かります。姿勢も色も構図も互いに似ていて、入れる値を大きく変えても出てくるものがあまり変わりません。学習の途中で結果の束を定期的に取り出して見る習慣が、一番確かな点検です。

完全崩壊より部分崩壊がよくあります

ひとつに完全に縮こまる極端な例は実際にはまれです。もっとよく出会うのは、元の資料に十種類の類型があったのに結果には三、四種類しか出ない状態です。見かけはそれらしいので見過ごしやすく、あとで特定の種類がそっくり抜けていることに気づきます。

抜けるほうは大抵資料の中で珍しかったものです。よくあるものだけうまく作れても点数が出るので、珍しいものをあえて学ぶ理由がありません。だからモード崩壊は結果から少数の類型を消してしまう方向に働き、偏りの問題ともつながります。

何を手直しするか

一番真っ直ぐな対策は採点表を直すことです。見抜く側にひと束をまるごと見せて、その中のものが互いにどれくらい似ているかを一緒に知らせます。みな似ていれば減点になるので、作る側に多様に作る理由が生まれます。

競いの均衡を合わせる方法もあります。片方が早く強くなりすぎないよう学習速度を変えたり、点数の付け方自体を緩やかにして一点に集まらないようにします。作る側を複数置いて、それぞれ違う領域を担当させる方法も使われます。

方式自体を変える選択もあります。ぼやけた染みから少しずつ形を見つけていく方式は、資料全体をまんべんなく真似るよう学ぶのでこの問題をずっと軽く済ませます。多様さが重要な作業でこの方式が広く使われる理由のひとつです。