読み方 ： ビーピーティーティー

概要

誤差逆伝播法では、学習データの入力からモデルが予測した値と正解の値の誤差（損失）を求め、これを出力側から入力側へ一層ずつ順番に伝達していく。微分法の連鎖率から各層での微分値（勾配）を簡単に求められるため、誤差を減らす方向に重みやバイアスなどのパラメータを更新する。

RNNなどの系列データを扱うモデルは、ネットワーク内に前回の出力を今回の入力にフィードバックするループ構造を持っており、そのままでは誤差逆伝播法を適用することができない。なぜなら、ある回の出力はループ構造を通じて過去のすべての回の処理の結果が反映されているからである。

BPTTはネットワークを時系列に従って複製し、過去のネットワークと現在のネットワークがループ回路を通じて接続された一つの巨大なネットワークを構成していると考える。このネットワーク全体に現在の出力から求めた誤差を逆伝播させていき、各時刻のネットワークに対してもパラメータの更新を適用する。

これにより、RNNのパラメータを時系列に従って最適化できるが、長い系列を持つデータでは展開されたネットワーク全体が極めて深い階層を持つことになり、勾配が伝播していく過程で指数的に減衰してしまう勾配消失問題や、逆に指数的に発散してしまう勾配爆発問題が生じやすくなる。

この問題を緩和するため、系列の数だけ展開してしまうのではなく一定の過去まで遡ったら展開を打ち切る「Truncated BPTT」が用いられることがある。また、LSTMやGRUのように、ノードの情報の出入りを制御するゲート機構を導入することで勾配を安定的に伝播させる手法もある。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。