二重降下現象【double descent】

概要

機械学習モデルの複雑さ（パラメータ数など）を増やしていくと表現力が向上し、最初は学習データに対しても未知データに対しても性能が向上（誤差は低減）していくが、複雑にしすぎると学習データに含まれるノイズやばらつきまでも詳細に再現するようになってしまい、未知データに対する性能が悪化する「過学習」が生じる。

従来の理論では過学習を起こしたモデルは複雑にすればするほど過学習が悪化し未知データでの誤差（汎化誤差）は増大し続けると考えられてきたが、大規模な深層学習モデルの学習では、パラメータ数が学習データ数を上回りさらに複雑化していくと、増大した汎化誤差が再び減少に転じるという二段階の降下が観察された。

二重降下現象は隠れ層の数が深くパラメータ数の多い深層ニューラルネットワーク（DNN）で発見され、パラメータ数だけでなく学習回数（エポック数）など過学習を引き起こす他の要因によっても生じたとする報告もある。極めてパラメータ数の多い複雑なモデルで発生するため、どのような機序で発現するのかはっきりしたことは分かっておらず、様々な仮説が提唱されている。