読み方 ： エルゼロせいそくか

概要

回帰分析や機械学習では、モデルを複雑にすればするほど学習データ・標本データへの適合度を向上させることができるが、過剰に適合しすぎて外れ値やノイズ、偏りまで忠実に再現してしまい、未知データに対する予測性能が低下する「過学習」「過剰適合」（overfitting）という問題が生じる。

これを防ぐための手法を「正則化」（regularization）という。L0正則化はモデルの訓練時に用いられる誤差関数（損失関数）に、ゼロでないパラメータの数に係数（正則化係数）を掛けた正則化項を追加する。係数は事前に決めておくハイパーパラメータで、ペナルティの大きさを制御する。

正則化手法としては他に「L1正則化」「L2正則化」なども知られるが、L0正則化はパラメータの数そのものを用いる点が特徴的である。モデルは最も重要な特徴量のみを使用して予測を行うため、解釈性が非常に高く、計算コストの低いスパース（疎）なモデルを構築できる。

ただし、「非ゼロ要素の数」は組み合わせ最適化問題で計算コストが高く、また、微分不可能なため勾配降下法のような標準的な最適化手法を直接適用することが難しい。実用上は何らかの近似法を用いたり、L1正則化など他の正則化手法が用いられることが多いとされる。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。