読み方 ： せいきかそう

概要

ニューラルネットワークでは入力層から出力層に向かって一層ずつ下層へ順に値が伝達されていくが、層間でやり取りされる値のスケールがまちまちになることがある。あまりに値に幅があると、特定の特徴量ばかり重視されたり、一部のノードのパラメータの収束が遅くなるなどの不都合が生じる。

正規化層は通過する出力値の平均が0、分散が1になるように値のスケールを揃える。代表的な実装方法としてバッチ正規化があり、ミニバッチを構成する学習データのサンプルを用いて平均と分散を算出し、特徴量ごとに正規化を行う。他に、レイヤー正規化、インスタンス正規化などの手法も提唱されている。

正規化層では単純に出力を正規化するだけでなく、学習によって調整されるパラメータを用いて、スケール変換（すべての値に特定の係数を乗じる）や平行移動（すべての値に一定値を加える）といった一律の変換処理を行い、分布を微調整する場合がある。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。