ハイパーパラメータ【hyperparameter】

概要

ハイパーパラメータは、モデル内部で訓練データによって最適化される重みやバイアスなどのパラメータとは異なり、学習前に人為的に与える値である。代表的な例として、ニューラルネットワークの隠れ層の数やノード数、学習率、エポック数、バッチサイズ、正則化係数などが挙げられる。同じモデルと学習手法でも、これらの設定によって学習の進み方や汎化性能が変化する。

ハイパーパラメータの値は、訓練データから自動的に学習されることはなく、通常は試行錯誤を通じて、最も良い性能を示す値が選ばれる。この最適な値を見つけ出すプロセスを「ハイパーパラメータチューニング」という。主な探索手法にはグリッドサーチやランダムサーチ、ベイズ最適化などがあり、モデルの評価指標を基準に有望な設定値が選ばれる。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。