読み方：じげんののろい

概要

次元の呪い（curse of dimensionality）とは、何らかの数理的な問題を解く際、次元の数が増えると要素数や計算回数などが指数関数的に増大してしまい、現実的な資源や時間で解くことが難しくなってしまう問題。

機械学習の場合、特徴量の数（次元）が増えると傾向を学習するために必要な学習データの数が指数関数的に増えてしまい、現実的に用意できるデータでは十分な学習ができなくなる問題を次元の呪いという。

例えば、中古車の買取価格を予測する場合、メーカー（10社）と車種（10種類）の2次元の組み合わせなら100通りだが、これに色（10色）を加えた3次元では1000通り、製造からの経過年数（10階層）を加えた4次元では1万通り、総走行距離（10階層）を加えた5次元では10万通りといった具合に、爆発的に組み合わせの数が増大する。

どの属性もランダムに分布する1万件のデータで学習しようとすると、100通りなら特定の組み合わせに平均100件のデータが対応するが、1万通りや10万通りでは1件も対応するデータが存在しない組み合わせが出てきてしまい、予測精度が著しく低下してしまう。実際、同じ学習データの数で特徴量の数を増やしていくと、ある数までは精度が向上するが、さらに増やすと精度が低下していく現象が知られている。

これを防ぐため、一定の基準を設けて有用な特徴量のみを残し一部の特徴量を切り捨てる「特徴量選択」や、主成分分析やオートエンコーダーなどの手法でなるべく情報量を維持しつつ複数の特徴量の傾向を反映した新たな特徴量を作り出す「特徴量抽出」などの手法が用いられる。このような次元を減らす操作を「次元削減」と総称する。