共分散行列

サンプルの平均と分散の定義 †

ある母集団分布をもつ確率変数から抽出された標本の平均と分散のことである。 Xのサンプル平均M(x)は

M(x)=(x1+x2+...+xn)/n 

Xのサンプル分散V(x)は

Vxx=Σ(xi-μx)^2/n

XとYのサンプル共分散は

VXY=Σ(Xi-μx)(yi-μy)/n

X,Yのサンプルの共分散行列Vは

V=|Vxx　　Vxy|
  |Vyx   Vyy|

定義よりVxy=Vyx　であるので、これは半正定値対称行列である。

確率変数の期待値と分散の定義 †

確率変数がスカラー変数の場合について、説明する。 母集団が離散的な場合 X を離散型確率変数とする。X のとりうる値が x1, x2, ..., xn で X が xi をとる確率密度を pi で表す。ここで、Σpi=1とする。この時、

μX=E(x)=Σxipi

を確率変数 X の期待値という。Eは期待値演算子である。 母集団が連続型の場合は

μX=E(x)=∫P(x)dx

であり、このP(x)を確率密度関数と呼ぶ。

また離散型の分散σxxは

σxx=E[(x-μx)^2]=Σ[pi(xi-μx)^2]

で定義される。分散の平方根が標準偏差σxと呼ばれる。

σxx=Σ[pi(xi^2-2xiμx+μx^2)]
　　=Σ[pi・xi^2]-2μx・Σpixi＋μx^2・Σpi

より

σxx=E(x^2)-μx^2でもある。

XとYの共分散行列Σは

Σ=|σxx　　σxy|
  |σyx   σyy|

である。

分散共分散行列 †

次のような列ベクトルを考える。

x=(x1,x2,...,xn)'

各要素の期待値と共分散を記す。

μi=E(xi)
σii=E((xi-μi)^2)
σij=E((xi-μi)(xj-μj))

このベクトルの要素xiが各々分散が有限である確率変数であるとき、(i, j)の要素がσijの行列Σを分散共分散行列という。列ベクトルXの平均値ベクトルをμ=E(x)とする時、Σは

Σ=E[(X-μ)(X-μ)']

二つの確率変数ベクトルの間の相互共分散の標準的な記法としては

Cov(X,Y)=E[(X-E(x))(Y-E(Y))']

を使う。

• 性質
  • Σ=E[XX']-μμ'
  • Σ は、半正定値対称行列。

• 任意のmxn行列Aとm次ベクトルaに対して、AX+aの期待値と分散は

  E(Ax+a)=Aμ+a
  Var(Ax+a)=AVar(x)A'
  但し　Var(X)=Cov(X,X)=E[(X-μ)(X-μ)']=Σ

• XもYもn次の確率変数ベクトルのとき

  Cov(X,Y)=Cov(Y,X)'
  Var(X+Y)=Var(x)+Cov(x,Y)+Cov(Y,X)+Var(Y)

• もしXとYが独立ならば

  Cov(X,Y)=0

• この行列の逆行列は Σ^(-1) は、inverse covariance matrix または、precision matrix と呼ばれる。

多次元正規分布の分散共分散行列の最尤推定量 †