最小二乗法
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
*最少二乗法:The least-squares method [#nbc81473]
偏差(ズレ 隔たり)の二乗和を最小にするように、推定式の係...
偏差(ズレ 隔たり)の尺度として、二乗和を採ることを提案し...
これには、深い根拠がある。
誤差二乗和を最小にすると定式化することで、最適化問題は、...
偉大なガウスは、最小二乗法の確率論的基礎を導いている。最...
"Least squares" means that the overall solution minimizes...
The most important application is in data fitting. The be...
The least-squares method was first described by Carl Frie...
*歴史 [#sc1159d3]
-ラプラスが「最小二乗法」を発表(1799)
-ガウスが小惑星Ceresの軌道予測(1801)
--子午線上の測地データをもとに地球の楕円度を計算.(17...
--9月にガウスが軌道を計算,予測,12月7日に予測通りに再発見...
-ルジャンドル,最小二乗法を発表(1805)
-ガウス,最小二乗法の原理を説明(1809)
--1795年に発見したと主張。「なぜ二乗か?」をガウス分布を...
*問題の定式化 [#ce8a77b5]
A simple data set consists of n points (data pairs) (xi,y...
S = ∑ ri^2 i = 1, ..., n
is a minimum. A residual is defined as the difference bet...
ri = yi − f(xi,β).
An example of a model is that of the straight line. Denot...
*線形最少二乗法:Linear least squares [#y2d2ec72]
See [[Wikipedia>http://en.wikipedia.org/wiki/Linear_least...
*1次方程式の場合 [#u70deb22]
いま、観測してデータが(x1,y1),(x2,y2),・・・,(xn,Yn)を得...
これを求めたい1次方程式(モデル)を
y=ax+b+e ,eは測定誤差の確率変数。
とする。
このとき誤差は
ri=yi-(axi+b) i = 1, ..., n
で表わされる。誤差の平方和を最少にするように、a,bの係数を...
S=∑ ri^2 --->Min(a,b)
sub. to ri=yi-(axi+b) i = 1, ..., n
極値なので、Sをそれぞれの係数aとbで、微分すれば0となる必...
Σ2ri・xi=0
Σ2ri=0
ri=yi-(axi+b)
これを正規方程式とよぶ。この解が求めるパラメータ(a.b)であ...
--標本誤差の総和はゼロであり、標本誤差と説明変数は直交し...
-aとbは次式で表わされる。
#ref(http://upload.wikimedia.org/math/3/0/9/309c7bbb62647...
#ref(http://upload.wikimedia.org/math/c/c/8/cc8b10aa58d75...
これを、を使って表わすと
a=S(x,y)/S(x,x)
b=E(y)-(S(x,y)/S(x,x))・E(x)
但し、S(X,Y)=∑(xi-E(x))・(yi-E(y))/n ,E(x)=∑xi/n
*相関係数Rとは [#he503037]
上記の1次方程式の場合、xiに対するyの推定値y*i=aXi+bと観測...
次式を定義する。
R^2=∑(y*i-E(y))^2 / ∑(yi-E(y))^2
これに、y*i=aXi+bを代入して整理すれば
R^2=S(x,y)^2/(s(x,x)・S(y,y))
すなわち
R=S(x,y)/(√s(x,x)・√S(y,y))
相関係数はxとyの共分散をxの標準偏差、yの標準偏差の積で割...
-R > 0 のとき x と y は 正の相関を持つ。傾きが正。
-R < 0 のとき x と y は 負の相関を持つ。傾きが負。
-R =1 のとき x と y は y=ax+b,a>0のモデル式で完全に説...
--正の強い相関がある場合の図
#ref(soukan.JPG)
*相関係数と1次回帰式 [#c037a2d4]
いま、観測してデータが(x1,y1),(x2,y2),・・・,(xn,Yn)を得...
これを求めたい1次方程式(モデル)をy=ax+bとする。
この回帰係数は、先に示した。書き直すと
y=a・(x-E(x))+E(y)
a=R・σy/σx
-性質1:傾き a
a=S(x,y)/S(x,x)= Σ(xi - E(x))(yi-E(y))/Σ(xi-E(x))2 = R・...
すなわち、傾き a は、相関係数とσy/σxの積で表わされる。
Rは、主として傾きの程度を規格化したものと考えられ、y方向...
-性質2:X=E(x)のとき y=E(y) になる。点(E(x),E(y))を通...
*決定係数とは:決定係数=相関係数の2乗 [#ib7965a3]
yのデータをy=ax+bで予測する時、次式が成り立つ。
Σ(yi-E(y))^2 = Σ(yi-y*i)^2 + Σ(y*i-E(y))^2
これは
予測データの全変動=予測誤差の全変動+予測された全変動
と見ることができる。
--何故か?。
yi-E(y)=yi-y*i + y*i-E(y)
であるので、両辺の2乗をとると
(yi-E(y))^2=(yi-y*i)^2 + (y*i-E(y))^2+2・(yi-y*i)(y*i-E(...
上式をi=1~nで合計したものが決定係数である。第3項の2乗和は...
第3項の2乗和=2Σ[ri・(y*i-E(y))]^2=2Σ[ri・R・σy/σx(xi-E(...
=2R・σy/σx・Σ[rixi-E(x))]
--最初の正規方程式の直交条件Σrixi=0から、第3項は零になる...
''決定係数とは、全変動の内、何割が予測されたかを表わす指...
R^2=Σ(y*i-E(y))^2 / Σ(yi-E(y))^2
総変動のうち回帰式で説明できる変動の割合を表わす。
-証明
--予測式は y*i=(R・σy/σx)(xi-E(x))+E(y)なので
決定係数 =[Σ(R・σy/σx)(xi-E(x))]^2/σy^2
=(R・σy/σx)^2・σx^2/σy^2
=R^2
*決定係数、相関係数、誤差二乗和の関係式 [#rf00b049]
決定係数=(相関係数)^2 = 1 - (yの誤差二乗和)/(yの分散:全...
--誤差二乗和を最小にすることは、相関係数が最も大きくなる...
--全変動の内、何割が予測されたかを表わす指標である。1から...
*推定値a,bの性質:期待値と分散 [#p938fd84]
パラメータ推定値をa*,b*とするとき、どちらもデータの関数で...
本当のパラメータa,bに近い値が、データを十分に多くすれば得...
そこで、残差項のみが確率変数である次のモデルを考える。
y=ax+b+e
(1)説明変数Xは確率変数ではない。
(2)誤差eの平均はゼロである。(すべてのiについて、E(ei...
(3)誤差eの分散は均一である。(すべてのiについて、V(ei...
(4)誤差eに、自己相関がない。(すべてのi,jについて、Co...
このとき、パラメータ推定値の性質はどのようであろうか。
-不偏性
''推定値a*はaの不偏推定量である。E(a*)=a''
--証明:yi=axi+b+riを代入してみる。
E(a*)=E[(Σxiyi/n-E(x)E(y))/(Σ(xi-E(x))^2/n)
=E[(Σxi(axi+b+ri)/n-E(x)E(axi+b+ri))/(Σ(xi-E(x))^2/n)
={aE[Σxi^2/n-E(x)E(x)]+bE[Σxi/n-E(x)]+E[Σxiri/n-E(x...
=aE[Σxi^2/n-E(x)E(x)]/(Σ(xi-E(x))^2/n)
ゆえに E(a*)=a
同様に、''推定値b*はbの不偏推定量である。E(b*)=b 。''
-分散と共分散
--推定値a*の分散は
E[(a*-a)^2]=σ^2/(Σ(xi-E(x))^2/n)=σ^2/(E(x^2)-E(x)^2)
ただしσ^2はモデルの誤差の分散
--推定値b*の分散は
E[(b*-b)^2]=σ^2・E(x^2))/(E(x^2)-E(x)^2)
--共分散は、
Cov(a*,b*)=E((a*-E(a*))(b*-E(b*))
=E((a*-a)(b*-b))
=σ^2E(X)/(E(x^2)-E(x)^2)
となる。
''これらの分散の式を使って、パラメータの信頼性の検定がで...
*多変数最小二乗法 [#a6a194cd]
二つの標本XとYの間に従属(回帰)関係があって、
y=a0+a1xi+a2x2+・・・・+amxm +e 但し、eは誤差を表わす...
な多変数の関係が成り立つと考える。
標本について、
yi=a0+Σajxij+ei (総和は、j=1,・・・,m)
であることとなる。説明変数xは非確率変数で多重共線性はなく...
Y=Xa+e
但し、Yは観測値のn次元列ベクトル、eは誤差の列ベクトル、X...
すると誤差項の2乗の和(残差平方和)は、転地記号tを用いて
E^2=et・e
=(Y-Xa)t・(Y-Xa)
=Yt・Y-2at・Xt・Y+at・Xt・Xa
となるので、これの最小化条件は、aで偏微分し、ゼロとおく。
∂E2/∂a=-2Xt・Y+2Xt・Xa=0
故に、
(Xt・X)a=XtY
という正規方程式を得る。
もし、Xt・Xのm次元行列が正則ならば、逆行列が存在する。
未知パラメータaの推定値は、正規方程式の解である次式で表わ...
a = [Xt・X]-1・XtY
1次式の場合に確認した残差平方和の最小化の条件式、Σeixi=0...
これは直交条件とも呼ばれていた。
Xte=Xt(Y-Xa)
=XtY-XtXa
=0
すなわち、正規方程式が直交条件そのものを表わしていること...
-推定パラメータの期待値と分散
続けて推定されたパラメータの期待値と分散を求めておこう。...
E(a*)=E([Xt・X]-1・XtY)
=E([Xt・X]-1・Xt(Xa+e))
=[Xt・X]-1(Xt・X)E(a)
=a
このように推定値の期待値が真の値になることを不偏推定量と...
推定値の分散は、スカラーcを伴う分散公式V(cα)=c2V(α)とV(c+...
V(a*)=V((XtX)-1XtY)
=(XtX)-1XtV(Y)((XtX)-1Xt)t
=(XtX)-1XtV(Xa+e)((XtX)-1Xt)t
=(XtX)-1Xtσ2I((XtX)-1Xt)t
=(XtX)-1σ2
となる。解となる分散の式は列ベクトルでなく行列となる。
うまくデータを取れば、分散を小さくできるであろうが、その...
そこで''XtXなるマリックスを情報行列と呼ぶ''。
*直交射影と最小二乗法 [#x86471b7]
--線形空間での射影
y観測値のベクトルは所与である。立体空間にある点Yから観測...
この残差のベクトルをXの列ベクトルが張る空間に直交するよう...
この射影では、ベクトルaは変数であるからいかほどでも伸び縮...
最適化の結果、y-y*=eなる誤差ベクトルとデータXの張る空間は...
最小二乗法では、Yの終点からXaへの最短距離が垂線であるから...
--ピタゴラスの定理は直角三角形の定理であるが
|Y|^2=|Xa|^2+|Y-Xa|^2
が、成立するためにはaは正規方程式を満たす必要があるとも言...
#ref(projection.JPG)
*参考 [#u7e02430]
-[[一般化最小誤差法に基づく解法>http://www.ism.ac.jp/edit...
-[[離散システムのための逐次推定法>http://dickie.ees.kyush...
-[[Exelおける回帰分析(最小二乗法)の手順と出力.pdf>http:...
終了行:
*最少二乗法:The least-squares method [#nbc81473]
偏差(ズレ 隔たり)の二乗和を最小にするように、推定式の係...
偏差(ズレ 隔たり)の尺度として、二乗和を採ることを提案し...
これには、深い根拠がある。
誤差二乗和を最小にすると定式化することで、最適化問題は、...
偉大なガウスは、最小二乗法の確率論的基礎を導いている。最...
"Least squares" means that the overall solution minimizes...
The most important application is in data fitting. The be...
The least-squares method was first described by Carl Frie...
*歴史 [#sc1159d3]
-ラプラスが「最小二乗法」を発表(1799)
-ガウスが小惑星Ceresの軌道予測(1801)
--子午線上の測地データをもとに地球の楕円度を計算.(17...
--9月にガウスが軌道を計算,予測,12月7日に予測通りに再発見...
-ルジャンドル,最小二乗法を発表(1805)
-ガウス,最小二乗法の原理を説明(1809)
--1795年に発見したと主張。「なぜ二乗か?」をガウス分布を...
*問題の定式化 [#ce8a77b5]
A simple data set consists of n points (data pairs) (xi,y...
S = ∑ ri^2 i = 1, ..., n
is a minimum. A residual is defined as the difference bet...
ri = yi − f(xi,β).
An example of a model is that of the straight line. Denot...
*線形最少二乗法:Linear least squares [#y2d2ec72]
See [[Wikipedia>http://en.wikipedia.org/wiki/Linear_least...
*1次方程式の場合 [#u70deb22]
いま、観測してデータが(x1,y1),(x2,y2),・・・,(xn,Yn)を得...
これを求めたい1次方程式(モデル)を
y=ax+b+e ,eは測定誤差の確率変数。
とする。
このとき誤差は
ri=yi-(axi+b) i = 1, ..., n
で表わされる。誤差の平方和を最少にするように、a,bの係数を...
S=∑ ri^2 --->Min(a,b)
sub. to ri=yi-(axi+b) i = 1, ..., n
極値なので、Sをそれぞれの係数aとbで、微分すれば0となる必...
Σ2ri・xi=0
Σ2ri=0
ri=yi-(axi+b)
これを正規方程式とよぶ。この解が求めるパラメータ(a.b)であ...
--標本誤差の総和はゼロであり、標本誤差と説明変数は直交し...
-aとbは次式で表わされる。
#ref(http://upload.wikimedia.org/math/3/0/9/309c7bbb62647...
#ref(http://upload.wikimedia.org/math/c/c/8/cc8b10aa58d75...
これを、を使って表わすと
a=S(x,y)/S(x,x)
b=E(y)-(S(x,y)/S(x,x))・E(x)
但し、S(X,Y)=∑(xi-E(x))・(yi-E(y))/n ,E(x)=∑xi/n
*相関係数Rとは [#he503037]
上記の1次方程式の場合、xiに対するyの推定値y*i=aXi+bと観測...
次式を定義する。
R^2=∑(y*i-E(y))^2 / ∑(yi-E(y))^2
これに、y*i=aXi+bを代入して整理すれば
R^2=S(x,y)^2/(s(x,x)・S(y,y))
すなわち
R=S(x,y)/(√s(x,x)・√S(y,y))
相関係数はxとyの共分散をxの標準偏差、yの標準偏差の積で割...
-R > 0 のとき x と y は 正の相関を持つ。傾きが正。
-R < 0 のとき x と y は 負の相関を持つ。傾きが負。
-R =1 のとき x と y は y=ax+b,a>0のモデル式で完全に説...
--正の強い相関がある場合の図
#ref(soukan.JPG)
*相関係数と1次回帰式 [#c037a2d4]
いま、観測してデータが(x1,y1),(x2,y2),・・・,(xn,Yn)を得...
これを求めたい1次方程式(モデル)をy=ax+bとする。
この回帰係数は、先に示した。書き直すと
y=a・(x-E(x))+E(y)
a=R・σy/σx
-性質1:傾き a
a=S(x,y)/S(x,x)= Σ(xi - E(x))(yi-E(y))/Σ(xi-E(x))2 = R・...
すなわち、傾き a は、相関係数とσy/σxの積で表わされる。
Rは、主として傾きの程度を規格化したものと考えられ、y方向...
-性質2:X=E(x)のとき y=E(y) になる。点(E(x),E(y))を通...
*決定係数とは:決定係数=相関係数の2乗 [#ib7965a3]
yのデータをy=ax+bで予測する時、次式が成り立つ。
Σ(yi-E(y))^2 = Σ(yi-y*i)^2 + Σ(y*i-E(y))^2
これは
予測データの全変動=予測誤差の全変動+予測された全変動
と見ることができる。
--何故か?。
yi-E(y)=yi-y*i + y*i-E(y)
であるので、両辺の2乗をとると
(yi-E(y))^2=(yi-y*i)^2 + (y*i-E(y))^2+2・(yi-y*i)(y*i-E(...
上式をi=1~nで合計したものが決定係数である。第3項の2乗和は...
第3項の2乗和=2Σ[ri・(y*i-E(y))]^2=2Σ[ri・R・σy/σx(xi-E(...
=2R・σy/σx・Σ[rixi-E(x))]
--最初の正規方程式の直交条件Σrixi=0から、第3項は零になる...
''決定係数とは、全変動の内、何割が予測されたかを表わす指...
R^2=Σ(y*i-E(y))^2 / Σ(yi-E(y))^2
総変動のうち回帰式で説明できる変動の割合を表わす。
-証明
--予測式は y*i=(R・σy/σx)(xi-E(x))+E(y)なので
決定係数 =[Σ(R・σy/σx)(xi-E(x))]^2/σy^2
=(R・σy/σx)^2・σx^2/σy^2
=R^2
*決定係数、相関係数、誤差二乗和の関係式 [#rf00b049]
決定係数=(相関係数)^2 = 1 - (yの誤差二乗和)/(yの分散:全...
--誤差二乗和を最小にすることは、相関係数が最も大きくなる...
--全変動の内、何割が予測されたかを表わす指標である。1から...
*推定値a,bの性質:期待値と分散 [#p938fd84]
パラメータ推定値をa*,b*とするとき、どちらもデータの関数で...
本当のパラメータa,bに近い値が、データを十分に多くすれば得...
そこで、残差項のみが確率変数である次のモデルを考える。
y=ax+b+e
(1)説明変数Xは確率変数ではない。
(2)誤差eの平均はゼロである。(すべてのiについて、E(ei...
(3)誤差eの分散は均一である。(すべてのiについて、V(ei...
(4)誤差eに、自己相関がない。(すべてのi,jについて、Co...
このとき、パラメータ推定値の性質はどのようであろうか。
-不偏性
''推定値a*はaの不偏推定量である。E(a*)=a''
--証明:yi=axi+b+riを代入してみる。
E(a*)=E[(Σxiyi/n-E(x)E(y))/(Σ(xi-E(x))^2/n)
=E[(Σxi(axi+b+ri)/n-E(x)E(axi+b+ri))/(Σ(xi-E(x))^2/n)
={aE[Σxi^2/n-E(x)E(x)]+bE[Σxi/n-E(x)]+E[Σxiri/n-E(x...
=aE[Σxi^2/n-E(x)E(x)]/(Σ(xi-E(x))^2/n)
ゆえに E(a*)=a
同様に、''推定値b*はbの不偏推定量である。E(b*)=b 。''
-分散と共分散
--推定値a*の分散は
E[(a*-a)^2]=σ^2/(Σ(xi-E(x))^2/n)=σ^2/(E(x^2)-E(x)^2)
ただしσ^2はモデルの誤差の分散
--推定値b*の分散は
E[(b*-b)^2]=σ^2・E(x^2))/(E(x^2)-E(x)^2)
--共分散は、
Cov(a*,b*)=E((a*-E(a*))(b*-E(b*))
=E((a*-a)(b*-b))
=σ^2E(X)/(E(x^2)-E(x)^2)
となる。
''これらの分散の式を使って、パラメータの信頼性の検定がで...
*多変数最小二乗法 [#a6a194cd]
二つの標本XとYの間に従属(回帰)関係があって、
y=a0+a1xi+a2x2+・・・・+amxm +e 但し、eは誤差を表わす...
な多変数の関係が成り立つと考える。
標本について、
yi=a0+Σajxij+ei (総和は、j=1,・・・,m)
であることとなる。説明変数xは非確率変数で多重共線性はなく...
Y=Xa+e
但し、Yは観測値のn次元列ベクトル、eは誤差の列ベクトル、X...
すると誤差項の2乗の和(残差平方和)は、転地記号tを用いて
E^2=et・e
=(Y-Xa)t・(Y-Xa)
=Yt・Y-2at・Xt・Y+at・Xt・Xa
となるので、これの最小化条件は、aで偏微分し、ゼロとおく。
∂E2/∂a=-2Xt・Y+2Xt・Xa=0
故に、
(Xt・X)a=XtY
という正規方程式を得る。
もし、Xt・Xのm次元行列が正則ならば、逆行列が存在する。
未知パラメータaの推定値は、正規方程式の解である次式で表わ...
a = [Xt・X]-1・XtY
1次式の場合に確認した残差平方和の最小化の条件式、Σeixi=0...
これは直交条件とも呼ばれていた。
Xte=Xt(Y-Xa)
=XtY-XtXa
=0
すなわち、正規方程式が直交条件そのものを表わしていること...
-推定パラメータの期待値と分散
続けて推定されたパラメータの期待値と分散を求めておこう。...
E(a*)=E([Xt・X]-1・XtY)
=E([Xt・X]-1・Xt(Xa+e))
=[Xt・X]-1(Xt・X)E(a)
=a
このように推定値の期待値が真の値になることを不偏推定量と...
推定値の分散は、スカラーcを伴う分散公式V(cα)=c2V(α)とV(c+...
V(a*)=V((XtX)-1XtY)
=(XtX)-1XtV(Y)((XtX)-1Xt)t
=(XtX)-1XtV(Xa+e)((XtX)-1Xt)t
=(XtX)-1Xtσ2I((XtX)-1Xt)t
=(XtX)-1σ2
となる。解となる分散の式は列ベクトルでなく行列となる。
うまくデータを取れば、分散を小さくできるであろうが、その...
そこで''XtXなるマリックスを情報行列と呼ぶ''。
*直交射影と最小二乗法 [#x86471b7]
--線形空間での射影
y観測値のベクトルは所与である。立体空間にある点Yから観測...
この残差のベクトルをXの列ベクトルが張る空間に直交するよう...
この射影では、ベクトルaは変数であるからいかほどでも伸び縮...
最適化の結果、y-y*=eなる誤差ベクトルとデータXの張る空間は...
最小二乗法では、Yの終点からXaへの最短距離が垂線であるから...
--ピタゴラスの定理は直角三角形の定理であるが
|Y|^2=|Xa|^2+|Y-Xa|^2
が、成立するためにはaは正規方程式を満たす必要があるとも言...
#ref(projection.JPG)
*参考 [#u7e02430]
-[[一般化最小誤差法に基づく解法>http://www.ism.ac.jp/edit...
-[[離散システムのための逐次推定法>http://dickie.ees.kyush...
-[[Exelおける回帰分析(最小二乗法)の手順と出力.pdf>http:...
ページ名: