読み方 ： リッジかいき

概要

回帰分析ではモデルを複雑にすればするほど標本データへの適合度を向上させることができるが、過剰に適合しすぎて外れ値やノイズ、偏りまで忠実に再現してしまい、未知データに対する予測性能が低下する「過剰適合」（overfitting）という問題が生じる。

これを防ぐための手法を「正則化」（regularization）と呼び、リッジ回帰は「L2正則化」と呼ばれる方式を適用したものである。最小二乗法で用いる誤差関数（損失関数）に、回帰係数の二乗和に係数（正則化係数）を掛けた正則化項を追加する。係数は事前に決めておくハイパーパラメータで、この値が大きくなるほど、より強く回帰係数を抑制することができる。

正則化を行う回帰分析手法としては他に、L1正則化を用いる「ラッソ回帰」なども知られるが、リッジ回帰は特定の係数の影響を削ぎ落とすのではなく、すべての係数をバランス良く縮小させる特徴がある。説明変数が多く相関が高い状況でも、特定の変数の係数が異常に大きな値や不安定な値になることを防ぎ、過学習を防ぎつつ予測性能を維持しやすくなる。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。