グリッドサーチ【grid search】

概要

ハイパーパラメータは学習過程を制御するために事前に決めておく各種の設定値で、モデルの仕様や学習の仕方を規定するものである。学習データによって導き出されるパラメータとは異なり、通常は学習プロセスそのものから自動的に最適な値を得ることはできない。

グリッドサーチはハイパーパラメータの最適な値を求める方法論の一つで、各設定値について候補となる値をあらかじめ列挙しておき、その組み合わせを網羅的に試行する。各組み合わせについて学習を繰り返し、検証データによるテストで最も性能の良かった組み合わせを採用する。

例えば、勾配降下法の学習率について｛0.1, 0.01, 0.001｝の3種類、ミニバッチ学習のバッチサイズについて｛16個, 32個, 64個｝の3種類の候補値がある場合、3×3=9通りのすべての組み合わせを設定してモデルを学習させ、最も性能の良いものを選ぶ。

探索が網羅的であるため、指定した範囲と刻み幅の中では最適な組を確実に見つけることができる。サポートベクターマシンなど少数のハイパーパラメータが性能に大きく影響するモデルや手法で利用されることが多い。

一方、ニューラルネットワークの深層学習のような複雑なモデルではハイパーパラメータの数や候補値の数、一回の学習プロセスに要する時間や計算資源が大きいため、試行回数が指数的に膨れ上がってしまったり、試行にかかる時間やコストが膨大すぎて実用的でない場合もある。そのような場合にはランダムサーチやベイズ最適化など確実性は下がるが試行回数を抑制できる他の手法が用いられる。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。