読み方 ： がくしゅうりつ

概要

機械学習では、学習データの入力値からモデルが算出した予測値と正解の隔たり（誤差）を計測し、これを打ち消すように、モデルを構成するパラメータを現在の値から動かすという処理を繰り返す。一回の更新で加える値が学習率で、歩行における歩幅に相当する値である。

学習率を大きく設定すると、更新幅が大きくなるため少ない学習回数で一気に誤差を減少させることができるが、歩幅が大きすぎて最適解を通り過ぎてしまい、その前後を行き来する振動状態に陥ったり、山を飛び越えて発散してしまったりする危険が高まる。

逆に、学習率を小さく設定すると、最適解を逃さずに安定して収束しやすくなるが、歩幅が小さいためなかなか最適解にたどり着かず、学習回数や計算量を浪費して学習に長い時間がかかったり、用意された学習データの量では十分に最適解に近づくことができない場合もある。

適切な学習率の設定はモデル性能や学習効率に大きく影響を与える。学習手法によっては、事前に決めた一定値を使うのではなく、初期段階で大きめの学習率を用いて探索を行い、後半で小さくして微調整する「学習率スケジューリング」手法や、勾配の状況に応じて動的に学習率を調整する適応的最適化手法が用いられることもある。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。