ハイパーパラメータ【hyperparameter】
ハイパーパラメータとは？
ハイパーパラメータはモデル内部で自動的に推定されるパラメータとは異なり、人為的に与える外部の調整値である。代表的なものとして、ニューラルネットワークの隠れ層数やノード数、学習率、エポック数、バッチサイズ、正則化係数、ドロップアウト率、最適化手法の選択などがある。これらは学習アルゴリズムの挙動やモデルの構造そのものを決定する役割を持つ。
各設定値の意味は異なる。隠れ層数やノード数はモデルの表現力に関わり、学習率はパラメータ更新の幅を決める。エポック数は訓練データを繰り返し学習させる回数、バッチサイズは一度の更新に用いるデータの単位量を表し、正則化係数やドロップアウト率は過学習を抑える強さを調整する。同じアルゴリズムと学習データを用いても、これらの組み合わせが異なれば学習の進行速度や精度は大きく変化する。
ハイパーパラメータの値は学習データから自動的に求めることはできず、複数の候補を試しながら検証データでの評価指標が最も良いものを選ぶという手順が取られる。この作業を「ハイパーパラメータチューニング」と呼ぶ。代表的な手法には、候補値を網羅的に試す「グリッドサーチ」、ランダムに組み合わせを選んで試す「ランダムサーチ」があり、近年では過去の試行結果を基に効率良く絞り込む「ベイズ最適化」や、計算資源を節約しながら探索する「Hyperband」と「早期終了」（Early Stopping）を組み合わせた手法も用いられている。
複数のハイパーパラメータ同士は独立ではなく、相互に影響し合う場合が多い。学習率とバッチサイズの組み合わせが最適化の挙動を変えることはその一例である。探索空間には連続値と離散値が混在し、次元が高くなるほど探索は難しくなるため、経験的な制約を設けることもある。制度の評価に交差検証を用いる際には、データリークを避ける工夫も必要となる。
近年では、こうした探索を自動化する仕組みも普及している。「Optuna」などのライブラリやクラウドAI基盤に搭載された自動チューニング機能を用いることで、人手による調整の手間を減らす取り組みが進んでおり、探索空間自体の設計まで自動化する「AutoML」の研究も進められている。
共有ボタンをタップ