読み方 ： はめつてきぼうきゃく

破滅的忘却【catastrophic forgetting】

概要

破滅的忘却とは、ニューラルネットワークが新しいタスクやデータを学習する過程で、以前に学習した知識を急激に失ってしまう現象。逐次的に学習を進める継続学習において問題となる。
破滅的忘却のイメージ画像

一般的な機械学習モデルは、ある固定されたデータ分布を前提として学習される。学習後に新しいタスクや異なる分布のデータを追加的に学習させると、重みの更新によって既存の内部表現が上書きされてしまい、過去のタスクに対する識別能力や予測精度が低下し、あたかも以前の知識を忘れたかのような挙動を示すことがある。

この現象は、複数タスクを順番に学習するマルチタスク学習やオンライン学習、継続学習において顕在化しやすい。特に、深層ニューラルネットワークはパラメータ数が多く、すべての入力に対して重みが共有されているため、この影響を受けやすいとされる。

この問題を緩和するための様々な手法が提案されている。重要なパラメータの更新を制限する正則化手法や、過去のデータを一部保存して新しい学習時に混ぜ合わせるリハーサル手法（リプレイ手法）、タスクごとにネットワーク内部の構造を分割するアーキテクチャベースの手法などが存在する。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。