読み方 ： エイダバウンド

概要

機械学習では多変数で非線形の複雑な関数の最適化を行うため、勾配降下法など数値的な解法を用いることがある。これは、ある地点から始めて、関数の値が下がっていく方向を微分値（勾配）を元に判断し、歩幅に相当する「学習率」という値ずつ移動していく手法である。

通常の勾配降下法では学習率として事前に設定した固定値を用いるが、Adamなどの改良されたアルゴリズムは勾配の値の履歴などを元に学習を進めながら動的に学習率を変動させる。誤差関数を高速で収束させ効率的に学習を進める効果があるが、学習率が極端な値を取る場合は汎化性能（未知データに対する成績）が下がる難点が知られていた。

AdaBoundではこの点を改良するため、学習率に動的な上限と下限を設定する。上限と下限に挟まれた範囲は学習の進行と共に徐々に狭まっていき、最終的には一定の値に収束するよう設計されている。これにより、学習終盤では通常の勾配降下法と同じような挙動となり、安定的に学習を終えることができる。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。