最小二乗法【least squares method】

概要

2つのデータ系列 $(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)$ があるとき、両者の関係をモデル関数 $y=f\left(x\right)$ で表したいとする。最小二乗法は $f\left(x\right)$ を構成する係数を決定する手法である。

$x_1$ におけるモデル関数の値は $f\left(x_1\right)$ である一方、実際の値は $y_1$ であるため、両者の誤差（残差という）は $y_1-f\left(x_1\right)$ となる。これは他の $x$ についても同様である。

この残差が全体でなるべく小さくなるようにするため、最小二乗法では各点の残差の2乗をすべて足し合わせ（残差平方和）、理論値と実測値の誤差の分散の推定値を求める。得られた合計値 $\sum _{i=1}^n{(y_i-f(x_i\left)\right)}^2$ はモデル関数の係数を変数とする関数の形となるため、これを代数的に解いて各係数の値を決定していく。

具体的な解き方はモデル関数に選択した関数の種類によって異なるが、最も単純に直線的な関係を想定して一次関数 $y=\mathrm{ax}+b$ で表した場合、$x$ と $y$ の平均 $\stackrel{-}{x}$ と $\stackrel{-}{y}$ 、標準偏差 $S_x$ と $S_y$ 、相関係数 $r$ を用いて、 $b=r\frac{S_y}{S_x}$ 、 $a=\stackrel{-}{y}-b\stackrel{-}{x}$ として表すことができる。