ホールドアウト法【holdout method】

概要

標本データを集めて統計的な解析や予測を行う場合、得られた統計モデルが実際のデータにどの程度当てはまるかを検証する必要がある。検証には標本データとは別のデータが必要となるが、標本データを分割して一部を検証用に用いる手法を「交差検証」（cross validation）という。

ホールドアウト法は交差検証のうち最も単純な方式で、データ全体を2つに分割し、片方で解析、もう片方でテストを行う。一般に、テスト用は解析用よりも少ない。通常はテスト用をランダムに抽出して用意するが、データの偏りを防ぐため、層化抽出などでバランスを取るようにする場合もある。

データ数が十分多い場合にはホールドアウト法で特に問題は起きないが、データ数が少ない場合には解析用あるいはテスト用に十分なデータが用意できず、うまく機能しないこともある。解析と検証は一度だけ行うため、たまたま抽出したデータの性質に影響を受けやすく、結果が安定しにくいとされる。