最小二乗法【least squares method】

概要

最小二乗法（least squares method）とは、調査や測定から得られたデータ系列を関数でモデル化する際、関数による理論値と実際の値の誤差の2乗の和が最小となるように関数の係数を決定する手法。

2つのデータ系列 $(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{n}, y_{n})$ があるとき、両者の関係をモデル関数 $y = f (x)$ で表したいとする。最小二乗法は $f (x)$ を構成する係数を決定する手法である。

$x_{1}$ におけるモデル関数の値は $f (x_{1})$ である一方、実際の値は $y_{1}$ であるため、両者の誤差（残差という）は $y_{1} - f (x_{1})$ となる。これは他の $x$ についても同様である。

この残差が全体でなるべく小さくなるようにするため、最小二乗法では各点の残差の2乗をすべて足し合わせ（残差平方和）、理論値と実測値の誤差の分散の推定値を求める。得られた合計値 $\sum_{i = 1}^{n} {(y_{i} - f (x_{i}))}^{2}$ はモデル関数の係数を変数とする関数の形となるため、これを代数的に解いて各係数の値を決定していく。

具体的な解き方はモデル関数に選択した関数の種類によって異なるが、最も単純に直線的な関係を想定して一次関数 $y = ax + b$ で表した場合、 $x$ と $y$ の平均 $\bar{x}$ と $\bar{y}$ 、標準偏差 $S_{x}$ と $S_{y}$ 、相関係数 $r$ を用いて、 $b = r \frac{S_{y}}{S_{x}}$ 、 $a = \bar{y} - b \bar{x}$ として表すことができる。