一般化最小二乗法

一般化最小二乗法とは（GLS法:Generalized Least Squares） †

一般化最小二乗法は、誤差系列に相関がある場合の最良不偏推定量をもとめる方法である。（通常の最小二乗法は一般化最小二乗法の特殊なケースである。）

線形回帰モデル y = Xβ+u　は、誤差ベクトルuが下記の２つの性質を持つ場合に、最良線形不偏推定量 (BLUE:best linear unbiased estimator)かつ一致推定量となる。

仮定1.誤差系列の期待値が零　E(u|X) = 0
仮定2.誤差系列が独立かつ分散一定　E(uu'|X) = ρ^2Ω,但し　Ω=I:単位行列

• 通常の最小二乗推定量(ordinary least squares)は、次式で求められる。（証明は最小二乗法のページ参照のこと。またガウス・マルコフの定理に最良不偏性について記載してある。）

  β*OLS = (X'X)^(-1)X'y

  そして、β*OLSの分散の推定値は

  V (β*OLS)=ρ^2(X'X)^(-1)

  となる。

最良線形不偏推定量とは †

線形推定量のうち最も分散が少なく、パラメータ推定値β*の期待値が真の母数に一致する。

β*=　Minmize[(y - Xβ)'(y = Xβ)]
E(β*)=β

一致推定量とは †

パラメータ推定値β*はn-->無限大　の時、真の母数βの近傍にある確率が1に収束する。

Lim (n-->無限大)　Prob｛|β*-β|<ε,任意のε>0｝=1

または、推定値が新の値に確率収束すると表記

plim β*　=　β

一般化最小二乗法 †

もし誤差共分散マトリッククスΩ　が、正定値で単位行列でない場合は、一致推定量ではあるが、最良不偏推定量ではなくなる。言い換えれば、最小分散の性質を満たさなくなる。 そしてβ*OLSの分散の推定値は悪くなる。

• 仮定2を満たさないこのケースは時系列モデル（誤差が系列相関をもつ）など、多くの場合に発生する。
  • 系列相関の有無は、ダービンワトソン比やダービンのh統計量を用いて検定できる。

• 一般化最小二乗法は、仮定2を満たさない場合に、最良不偏推定量を求めるための方法である。

一般化最小二乗法の推定値は、Ωが既知の場合は次式で与えられる。

β*GLS = (X'Ω^(-1)X)^(-1)X'Ω^(-1)y

• Ω=Iの場合、β*GLS=β*OLS。通常の最小二乗法は一般化最小二乗法の特殊なケースである。 しかしながら、研究者は通常は、誤差共分散行列について何らの知識を持たないので、これを推定する必要がある。

GLS法ではこれを、最小二乗法を2段階適用して行うか、収束するなんども繰り返すことで求める。

• 簡単でわかりやすい解説をダービンワトソン比のページに書いてあるので参照のこと

手順は以下の通り。

• 1.まず通常のOLS法で、β*OLSを求める。これを使って誤差系列の推定値u*を計算。
• ２.u*のデータからその誤差共分散の推定値Ω*を計算する。
• 3.これをつかってGLSの近似解を求める。

  β*GLS = (X'Ω*^(-1)X)^(-1)X'Ω*^(-1)y

  • Ω*はΩ*= P^(-1)(P')^(-1)のように、２つのマトリックスに分解できるので、y*とX*に重みづけを行う下記の重み付き最小二乗法で求められる

    y*=Py,X*=Pxとして
    β*GLS =(X*'X*)^(-1)X*'y*

一般化最小二乗法（GLS)の性質 †

Ω*が真の誤差共分散に近い値で推定できれば

• 上記の方法によるβ*GLSは、漸近的にβの有効推定量である。
• もちろん一致推定量である。

正定値行列 †

ある対称行列Aが任意の列ベクトルxによって2次形式xtAxを構成したとき、常に、 　xtAx＞0 となるとき、この対称行列Aを正定値行列という。

• 対称行列が正定値行列となるとき、現れる便利な性質とは、固有値がすべて正となることである。
  • （証明）正定値の対称行列Aの固有値と固有ベクトルがいつものように、

    Avi=λivi 

    となっているとしよう。固有ベクトルはノルムがいくらでも調整できるので、すべて正規化されているとするなら、φ(vi,vi)=vitvi=1とできる。すると上の式に左からvitを掛ければ、

    vitAvi=vitλivi=λi 

    となるが、最左辺は正定値行列の定義から正なので、

    λi＞0 

    となる。これはすべての固有値にあてはまるので、すべての固有値の積も、

    λ1・･･･・λn＞0 

    となる。(QED)

正定値対称行列の直交分解 †

誤差共分散行列のような正定値対称行列は直交分解できます。

• 対称行列は直交行列で常に対角化可能であって、たとえ固有値が重複した根となっていてもその数だけ対角要素に使えば対角化が可能となる。しかもその固有値はいつも実数になる。

Aが対称行列のとき

A = (T')DT、T'=T^-1
D は、対角成分に固有値が並んだ対角行列
T は、大きさ1 の固有ベクトルを横に並べて作った直行行列

と分解できます。ここでA が正値対称行列なので 固有値は全て正なので D の各対角成分をその平方根で置き変えた行列を S とすると

D = SS = (S')S
A = (T')DT = (T')(S')ST=(ST)'(ST)
S、Ｔが正則なので STも正則。

正則な行列は 適当な 直行行列Q を使って Qと上三角行列の積に 分解できる（QR分解）ので

ST = QR (R:上三角行列）

従って

A = (ST)'(ST) = (QR)'(QR) = (R')(Q')QR

Q は、直行行列だったから

(Q')Q = I 単位行列

故に

A = (R')R

となる。これはコレスキー分解の形であり、正定値対称行列ならコレスキー分解が出来る。

参考 †

• Generalized Least Squares,Simon Jackman,Stanford University
• Generalized Least Squares Theory
  • Amemiya, Takeshi. 1985. Advanced Econometrics. Cambridge: Harvard University Press.
  • Chipman, J.S. 1979. ‘‘Efficiency of least squares estimation of linear trend when residuals are autocorrelated.’’ Econometrica 47:115--128.