宝くじ仮説【lottery ticket hypothesis】

概要

従来から、大量のパラメータを持つ深層ニューラルネットワークを訓練したあと、その重みの一部を剪定（プルーニング）してネットワークを縮小しても性能が大きく低下しない現象が知られていた。この小さなネットワークを、学習開始時と同じ初期値に戻して再度訓練すれば、巨大なモデルと同じ速度と精度で学習が完了する。これを「当たりくじ」になぞらえた仮説である。

一方、同じ構造の小規模ネットワークでも、ランダムな初期値で訓練を開始すると、元の大規模モデルのような性能は得られない。ネットワークの「構造」だけでなく、学習開始前の「初期値の組み合わせ」が重要であることが示唆される。

なぜ深層ニューラルネットワークでパラメータ数を増大させると急激に性能が向上するのか詳しい機序は不明だったが、この仮説によれば「巨大なネットワークを用意することで『当たりくじ』を引き当てる確率を高めるため」という説明が可能となる。