読み方 ： かくりつてきこうばいこうかほう

概要

勾配降下法は、ある関数が最小値となるときの変数の値を求める最適化問題の解法の一つである。変数に様々な値を代入してみて結果を調べ、出力が減る方向に少しずつ動かしていくという数値的なアプローチで、関数の形が分からなかったり、複雑すぎて導関数の導出が困難な場合などに適している。

確率的勾配降下法は機械学習の誤差関数（損失関数）の最適化によく用いられる手法で、この方式を用いる学習手法を「オンライン学習」という。この手法では、学習データの中から一つのサンプルを無作為に選び、誤差関数の勾配を求めてパラメータを更新する。この処理を繰り返し行うことで、誤差を減らす方向へパラメータが徐々に調整される。

全データを用いて勾配を求める最急降下法（バッチ勾配降下法）に比べ、更新のたびに必要となる計算量が小さいため、大規模データセットに対して効率的に学習を進められる。勾配に含まれるノイズが大きい一方で、その揺らぎによって探索範囲が広がり、局所的な最小値から抜け出しやすくなる場合がある。

パラメータの更新が頻繁に行われるため、モデルはデータの変化に対して素早く反応し、学習の開始直後は高速に誤差が減少することが多い。ただし、勾配が不安定になりやすく、学習率を適切に設定しないと発散や収束の遅れが生じる可能性がある。一度に取り出すサンプルを一つではなく複数（少数）とする手法は「ミニバッチ勾配降下法」という。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。