誤差関数【error function】損失関数

概要

学習データのように正解が分かっているデータについて、入力からモデルが算出した予測値と、実際の正しい値との間の「隔たり」を一つの数値として表現する。この値が小さいほど、モデルの予測精度が高いことを意味する。

誤差関数には、解決したい問題の種類に応じていくつかの種類がある。例えば、回帰問題（株価予測など連続した数値の予測）では、予測値と正解値の差を二乗してその平均を求める「平均二乗誤差」（MSE：Mean Squared Error）や、そのバリエーション（RMSEなど）がよく使われる。

一方、分類問題（画像認識などカテゴリーの予測）、では、「交差エントロピー誤差」（cross-entropy error）が標準的に使用される。これは、予測が正解カテゴリーからどれだけ離れているかを確率分布の類似度として測る指標で、モデルが正解の選択肢の確信度を高く、不正解の選択肢の確信度を低く出力するほど小さい値を示す。

モデルのパラメータを修正する最適化手法の多くは計算の過程で微分値を用いるため、誤差関数も微分可能なものを用いることが多い。例えば、勾配降下法では誤差関数の値をパラメータで微分して勾配を求め、勾配とは逆の方向にパラメータを少しずつ更新していくことで、誤差を徐々に減らしていく。