破壊的忘却Catastrophic Forgetting
新しいことを学ぶうちに前の実力を失う現象
- 破壊的忘却は、AIが新しい仕事を学ぶ間に前にうまくできていた仕事を急激に失う現象です。
- 原因は場所が分かれていないことにあります。古い知識と新しい知識が同じ数字のかたまりを分け合って使うからです。
- 学習は今見せた資料でしか採点しません。古い資料を一枚も入れなければ、古い実力が崩れていても信号が来ません。
- 古い資料を少し混ぜたり、大事な値をつなぎ止めたり、新しい部品を別に付けたりして防ぎます。
- 新しく教えたあとは新しい課題の点数だけを見るのではなく、前の課題の点数も一緒に測って初めて気づけます。
目次
1たとえで理解する
鉄の棒を一本、磁石で片方の向きに何度もこすると、棒に磁力がしみ込みます。この棒はいまやクリップを引き寄せます。こすった向きが棒全体にそっくり残ったわけです。
ところが同じ棒を今度は反対向きにこすり始めると、新しい向きがしみ込む分だけ、先にしみ込んでいた向きがぼやけていきます。しばらくすると棒は新しい向きにしか反応しなくなります。**棒の中に古い向きを別に収めておく場所がないからです。**一本の棒に向きは一つです。
AIが新しい仕事を学びながら前の仕事ができなくなる破壊的忘却が、この鉄の棒と同じです。
2くわしく
古い知識と新しい知識が同じ場所を使います
神経網の中には調節できる数字がぎっしり入っています。この数字は「猫担当の枠」と「犬担当の枠」に分かれているわけではありません。二つの知識はどちらも同じ数字のかたまりの上に重なって乗っています。
新しい課題を学習させると、その数字は新しい課題がうまくいく方向へ少しずつ動いていきます。動いた先で古い課題がどうなるかは、学習の過程が確かめてくれません。棒を反対向きにこすっている間に先にしみ込んでいた向きが押しやられるのと同じことが、数字の上で起きます。
仕切りがないことがこの現象の根っこです。仕切りが分かれていれば、新しい知識は空いた枠に収まればいいだけですが、実際には古い知識が使っていたまさにその数字を新しい知識が使い直すのです。
今見えているものだけを採点します
学習は間違いの度合いを測り、その分だけ数字を動かす作業です。ところがこの間違いの度合いは今手元にある資料でしか計算されません。新しい資料だけを入れて回すと、古い実力がどれだけ崩れても画面の数字は良くなり続けます。学習が順調に見えるのに、実際には前の能力が抜け出していく最中というわけです。
抜ける速さも速いです。何回か回すだけで前の課題の正解率が半分以下に落ちることも珍しくありません。じわじわとぼやけるのではなくがくんと落ちるので、名前に「破壊的」という言葉が付きました。
とくに新しい資料が古い資料と性格が大きく違うほど深刻になります。写真を扱っていたモデルに図表ばかり見せたり、くだけた話し方で答えていたモデルに硬い文書だけを見せたりすると、動いていく距離が遠いので、古い場所が大きく揺れます。
古い向きを残す三つの方法
一つ目は古い資料を混ぜる方法です。新しい資料だけを詰め込まず、前の資料を少しずつ一緒に見せます。原本がもう使えない状況なら、前のモデルが出していた答えを代わりに混ぜることもあります。
二つ目は大事な値をつなぎ止める方法です。古い課題に大きく貢献した数字を先に見つけておき、その数字が大きく動くと重い罰点を付けます。あまり重要でない数字にだけ余裕を持たせる方式です。
三つ目は部品を別に付ける方法です。元の数字には手を触れず、小さな部品を横に付けて新しい課題だけをその部品に任せます。こすっていた棒はそのままにして新しい棒をもう一本付けるようなもので、必要なら部品を外して前の状態に戻ることもできます。
少しずつ、確かめながら教えます
一度に大きく動かさないことも大きな助けになります。一歩の大きさを小さく取って短く教えれば、数字が元の場所から遠くへ外れません。新しい課題だけをまるごと入れ替える代わりに、複数の課題を混ぜてまとめて教えると、そもそも押しやられることも減ります。
何より大事なのは測ることです。新しく教える前に前の課題いくつかを選んで点数を書いておき、教え終えたあと同じ問題でもう一度測ります。新しい課題の点数だけを見ていると、何が消えたのか最後までわからないまま過ぎてしまいます。
教える前の状態をファイルで残しておく習慣も必要です。新しい課題を得た代わりに失ったものがあまりに大きいと判断したら、残しておいたその状態に戻って資料の比率や一歩の大きさを変えてやり直せます。
3もう少し正確に
破壊的忘却(Catastrophic Forgetting)は、複数の課題を順番に学習させるとき、あとの課題が前の課題の重みを上書きして前の課題の性能が急激に落ちる現象です。この問題を扱う分野を継続学習と呼びます。先に述べた三つの方法は、それぞれリハーサル、正則化に基づく抑制、構造分離という名前で整理されます。
たとえがずれる点もあります。鉄の棒は向きを一つしか収められませんが、神経網の中の数字は数億個もあるので、違う能力が重なって住める場所がある程度は残っています。だから資料をうまく混ぜて教えれば、複数の課題を一緒に抱えていくことができます。もう一つ、棒から抜けた磁力は本当に消えてしまいますが、重みは消えたのではなく移った状態です。だから古い資料を少しだけ見せ直すだけでも、初めて学ぶときよりずっと早く実力が戻ることがよくあります。
4やってみる
5よくある誤解
モデルが大きければ全部覚えておく余裕があると思われがちですが、実際には大きさに関係なく、新しい資料だけを繰り返し見せると古い課題の点数が落ちます。
新しい知識を増やしたのだから全体的に賢くなったと考えられがちですが、実際には新しい課題の点数が上がっている間に、測っていない課題が静かに崩れていることがあります。
人も忘れるのだから似たようなものだと思われがちですが、実際には人の忘却はゆっくりぼやけていく側で、この現象は数回でがくんと崩れる側なので性格が違います。
7ひとこと要約
つまり破壊的忘却は、一本の棒に向きが一つしかないように、古い仕事を担っていた値が新しい学習に上書きされて前の実力を失う現象で、古い資料を少し混ぜることと前の点数を一緒に測ることが基本の備えです。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02