読み方 ： こうばいばくはつもんだい

概要

主に誤差逆伝播法（バックプロパゲーション）のメカニズムによって引き起こされる問題の一つである。誤差逆伝播法では、モデルの出力層で計算された予測値と正解の差（誤差）が、ノード間の繋がりの重みを更新するために、微分値（勾配）として前の層へと順次逆向きに伝達されていく。勾配には、層を通過するたびに活性化関数の微分値と重みが掛け合わされていく。

このとき、勾配として算出された値が1より大きい場合、上層にはより大きな値が伝達される。これが層をまたいで何度も掛け算されると、連鎖律によって勾配の値は指数関数的に増大することになる。入力層に近いネットワークの初期の層に到達する頃には極端に大きな値になり、一度の更新で過剰に値を動かして学習が不安定になったり、正しく取り扱える上限値を超えてしまう。

勾配爆発問題を抑えるため、勾配の大きさに上限値を設け、これを超えた場合に強制的に縮減する「勾配クリッピング」という手法が用いられる。重みの初期化方法を適切に選ぶことや活性化関数を工夫することも有効な対策とされる。循環的な構造を持つ回帰型ニューラルネットワーク（RNN）では、長期依存を扱う際に勾配の爆発と消失が起こりやすいため、「ゲート構造」を内蔵するモデルが考案されている。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。