リカレントニューラルネットワーク【RNN】Recurrent Neural Network

概要

通常のニューラルネットワークは入力層から出力層へデータが一方向的に流れるだけだが、リカレントニューラルネットワークでは、出力を次の入力へフィードバックするループ構造が組み込まれている。前回の処理の結果を覚えておき、今回の入力に加えて処理する。今回の出力も覚えておき、次回の入力に反映させる。

これにより、単語が順番に入力されてくる文章のような系列データ、時間経過に従って少しずつ変化する音声や動画のような時系列データを扱う際に、現在の入力だけでなく直前の状態や文脈を反映した処理が可能となる。RNNは機械翻訳や文章生成、音声認識、時系列予測などの性能を飛躍的に向上させるきっかけとなった。

初期のRNNは時刻ごとに同じ重みを用いて計算を繰り返すため、長い系列に対して勾配が極端に小さくなる勾配消失や、逆に大きくなりすぎる勾配爆発が起きやすく、長期的な依存関係を学習するのが難しかった。これを改善するため、LSTM（Long Short-Term Memory）やGRU（Gated Recurrent Unit）のような複雑な制御機構が提唱されている。