読み方 ： アールエムエスプロップ

概要

機械学習では多変数で非線形の複雑な関数の最適化を行うため、勾配降下法など数値的な解法を用いることがある。これは、ある地点から始めて、関数の値が下がっていく方向を微分値（勾配）を元に判断し、歩幅に相当する「学習率」という値ずつ移動していく手法である。

RMSpropは各パラメータについて勾配降下法を実施する際、勾配の大きさに応じて学習率を動的に変化させる。過去の勾配の二乗（分散）を平均した値で学習率の初期値を割ったものを実際に用いる学習率とする。二乗平均を求める際、古い値ほど時間の経過に応じて指数的に減衰する指数移動平均を算出し、直前の勾配情報を重視する。

先行する「AdaGrad」アルゴリズムでは、単純に累積和で初期値を割っていたため、学習が進むうちに学習率が減少していって更新が進まなくなる問題があったが、RMSpropでは古い値ほど減衰する指数移動平均とすることで遠い昔の値の影響を排除し、単調減少に陥らないよう工夫されている。

RMSpropは非定常（勾配の性質が途中で変化する）な環境での強化学習や回帰型ニューラルネットワーク（RNN）の学習などで特に安定性が得られやすいとされ、実用上も重要なアルゴリズムの一つである。後続の「Adam」アルゴリズムの基礎の一つとしてもよく知られる。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。