読み方：レイヤーせいきか

レイヤー正規化【layer normalization】

概要

レイヤー正規化とは、ニューラルネットワークの各層の出力値の分布を一定の範囲に揃える正規化処理の一つで、サンプルごとに正規化を行うもの。畳み込みニューラルネットワーク（CNN）の特徴マップに適用する場合は全チャネルをまとめて扱う。バッチ正規化がバッチサイズに影響を受けやすい点を改良した手法である。

ニューラルネットワークでは入力層から出力層に向かって一層ずつ下層へ順に値が伝達されていくが、層間でやり取りされる値のスケールがまちまちになることがある。あまりに値に幅があると、特定の特徴量ばかり重視されたり、一部のノードのパラメータの収束が遅くなるなどの不都合が生じる。

レイヤー正規化はそのような場合に用いられる正規化手法の一つで、学習データを構成する個々のサンプルごとに、層の出力値の平均が0、分散が1になるよう調整する。極端な値のばらつきを抑えて学習の安定化、学習速度の向上、過学習の抑止などの効果をもたらす。

バッチ正規化ではミニバッチを構成するサンプルすべてを使って統計量を算出するため、バッチサイズが小さい場合に不安定化しやすい欠点があったが、レイヤー正規化はサンプルごとに毎回正規化するためバッチサイズの影響を受けない。ネットワーク内に再帰的な構造を持ち、時系列の入力や文章などの可変長の入力を受け付ける再帰型ニューラルネットワーク（RNN）やTransformerで特に有効な手法とされる。

なお、畳み込みニューラルネットワーク（CNN）の特徴マップの正規化に用いる場合は、層内の全チャネル（各フィルタの出力）をまとめて正規化する。この点を変更し、チャネルごとに正規化を行うようにしたものを「インスタンス正規化」、複数のチャネルのグループごとに正規化するようにしたものを「グループ正規化」という。

(2025.12.7更新)