読み方 ： バッチせいきか

概要

ニューラルネットワークでは入力層から出力層に向かって一層ずつ下層へ順に値が伝達されていくが、層間でやり取りされる値のスケールがまちまちになることがある。あまりに値に幅があると、特定の特徴量ばかり重視されたり、一部のノードのパラメータの収束が遅くなるなどの不都合が生じる。

バッチ正規化はそのような場合に用いられる正規化手法の一つで、学習データ全体を一定の数ごとに分割して与えるミニバッチ学習で用いられる方式である。ミニバッチを構成する学習データのサンプルをもとに特徴量の平均と分散を求め、特徴量ごとに平均が0、分散が1になるように出力値を補正する。

さらに、学習によって調整されるパラメータを用いて、スケール変換（すべての値に特定の係数を乗じる）や平行移動（すべての値に一定値を加える）といった一律の変換処理を行い、決められた分布に当てはまるよう調整する場合もある。

こうした操作により、ネットワーク全体で入力値のスケールが揃い、勾配の伝播が安定しやすくなるとされている。データ全体ではなくミニバッチ単位で平均や分散を求めるため、これがある種のノイズとして働き、モデルが学習データに過剰に適合してしまう過学習の抑制にも寄与するとされる。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。