最小2乗問題

サイトのTOP→理系インデックス
行列分解のTOP→行列分解インデックス





Z27 ( 最小2乗問題〜その1 )

V をベクトル空間とする。

W を V の部分空間とする。

v∈V とおく。

を v の W への射影とする。

このとき、次が成り立つ。

(1) 任意の w∈W に対し、|| v−w ||≧|| v−v || である。

(2) 上式の等号は w=v の場合にのみ成り立つ。

(3) || v−v ||=v・(v−v

補足

つまり、v と w の距離は、w=v の場合に一意に最小化される。

さらに、その最小化された距離は、v・(v−v)である。

(1)の証明

計算すると、

(2)の証明

(1)の証明より明らか。

(3)の証明

いま、v・(v−v)=0 である。

よって、|| v−v ||=v・(v−v)である。

Z28 ( 最小2乗問題〜その2 )

X を n×p 行列とする。

y を n次-列ベクトルとする。

このとき、次は同値である。

(1) || y−Xb || は b においてのみ最小値をとる。

(2) b は正規方程式 XXb=Xy の解である。

とくに、(1)または(2)が成り立つとき、次が成り立つ。

(3) Xb=P

(4) || y−Xb||=y(I−P)y

補足

むろん、|| y−Xb || は(y−Xb)(y−Xb)と表せる。

証明

明らかである。(※Z27、Z17)