2変数正規分布

正規分布 †

標準正規分布に従う2つの独立な確率変数z1、z2の同時分布について考えよう。

z1～N(0,1)　z2～N(0,1)

この二つの確率変数を独立と考えた場合の、同時確率分布を求めてみよう。独立であるので、２つの密度関数の積で表されて、

P(z1,z2)=p(z1)P(z2)

Z1もZ2も、下記の密度関数に従う。

同時分布はこの積となるから、確率要素で表示すれば、

となる。

一般的な2変量正規分布 †

ベクトル表示できる。確率変数を　X=(x1,x2)'とし、平均μ=(μ1,μ2)'、分散行列Σ=｛σij｝とすれば N（μ,Σ)の同時確率密度関数はどのようになるであろうか。 確率要素で表示すれば、

dP=|Σ|^(-1/2)exp{-(x-μ)tΣ^(-1)(x-μ)/2}/(2π)^(2/2)dx1dx2

詳細に表示すれば、

となる。

Σ=(E(xi-μi)(xj-μj))　(nn行列：i,j=1,2)
　=(E(xixj)-μiμj)

• n次元の同時分布の確率要素は

  dP=|Σ|^(-1/2)exp{-(x-μ)tΣ^(-1)(x-μ)/2}/(2π)^(n/2)dx1dx2...dxn

  である。
• X1の周辺分布P(x1)は、dx2で積分すれば、平均μ1、分散σ1の確率密度となることがわかるでしょう。

条件付き確率 †

ベイズの定理より

P(x2|x1)=P(x1,x2)/P(x1)

P(x1)は、平均μ1、分散σ1の確率密度であるので、そしてその条件付期待値と分散は直ちに、

条件付き確率はdp/dp1を計算すればよい。 dp/dp1=

上式より条件付き確率P(x2|x1)の期待値と分散は次式で表わされることがわかる。

最小二乗法（最小分散）との関係 †

X2を目的関数としてx1で回帰する場合、回帰式をX2=a+bx1　と置いて、誤差二乗和を最小にする。 当てはめる直線の切片aと傾きbは、で次のように得られる。

• 詳細は最小二乗法のページを参照のこと

もうひとつの見方を紹介しよう。最小分散を与えるx2を直接計算してみよう。

上の第1項と第2項を見れば

とすれば、最小となることがわかる。 これを整理すれば、先の回帰式のパラメータと同一であることが確認できる。

正規分布の条件付き確率の最尤推定 †

最尤推定は、確率密度関数の山のピークを求める方法である。 条件付き確率の最尤推定値は、先の確率要素からわかるように、容易にもとめられる。パラメータaとbで１階微分してゼロとなる値を求めればよい。

• これも、同じ結果を得る。

正規分布のパラメータ推定問題の要点 †

• 最小二乗推定量、条件付き期待値、条件付き確率の最尤推定量の３つの方法でえられるパラメータは同一である。