#freeze
*正規分布 [#qf52bb90]
標準正規分布に従う2つの独立な確率変数z1、z2の同時分布について考えよう。 
 z1～N(0,1)　z2～N(0,1)
この二つの確率変数を独立と考えた場合の、同時確率分布を求めてみよう。独立であるので、２つの密度関数の積で表されて、 
 P(z1,z2)=p(z1)P(z2)
Z1もZ2も、下記の密度関数に従う。
#ref(normal.gif)
同時分布はこの積となるから、確率要素で表示すれば、
#ref(normal2.gif)
となる。

#ref(normalDist2.JPG)

*一般的な2変量正規分布 [#kbd027a4]
ベクトル表示できる。確率変数を　X=(x1,x2)'とし、平均μ=(μ1,μ2)'、分散行列Σ=｛σij｝とすれば
N（μ,Σ)の同時確率密度関数はどのようになるであろうか。
確率要素で表示すれば、
 dP=|Σ|^(-1/2)exp{-(x-μ)tΣ^(-1)(x-μ)/2}/(2π)^(2/2)dx1dx2
詳細に表示すれば、
#ref(normal-2zi.gif)
となる。
 Σ=(E(xi-μi)(xj-μj))　(nn行列：i,j=1,2)
 　=(E(xixj)-μiμj)
--n次元の同時分布の確率要素は
 dP=|Σ|^(-1/2)exp{-(x-μ)tΣ^(-1)(x-μ)/2}/(2π)^(n/2)dx1dx2...dxn
である。
--X1の周辺分布P(x1)は、dx2で積分すれば、平均μ1、分散σ1の確率密度となることがわかるでしょう。
*条件付き確率 [#se151435]
ベイズの定理より
 P(x2|x1)=P(x1,x2)/P(x1)
P(x1)は、平均μ1、分散σ1の確率密度であるので、そしてその条件付期待値と分散は直ちに、
#ref(dp1.gif)
条件付き確率はdp/dp1を計算すればよい。
dp/dp1=
#ref(dp-dp1.JPG)
上式より条件付き確率P(x2|x1)の期待値と分散は次式で表わされることがわかる。
#ref(ConditionalExp.gif)
*最小二乗法（最小分散）との関係 [#u3549a9e]
X2を目的関数としてx1で回帰する場合、回帰式をX2=a+bx1　と置いて、誤差二乗和を最小にする。
当てはめる直線の切片aと傾きbは、で次のように得られる。
#ref(parameter.gif)
--詳細は最小二乗法のページを参照のこと

もうひとつの見方を紹介しよう。最小分散を与えるx2を直接計算してみよう。
#ref(minimum-Variance.gif)
上の第1項と第2項を見れば
#ref(a-b.gif)
とすれば、最小となることがわかる。
これを整理すれば、先の回帰式のパラメータと同一であることが確認できる。
*正規分布の条件付き確率の最尤推定 [#lf2b6bd4]
最尤推定は、確率密度関数の山のピークを求める方法である。
条件付き確率の最尤推定値は、先の確率要素からわかるように、容易にもとめられる。パラメータaとbで１階微分してゼロとなる値を求めればよい。

-これも、同じ結果を得る。

*正規分布のパラメータ推定問題の要点 [#qf2bca42]
-''最小二乗推定量、条件付き期待値、条件付き確率の最尤推定量の３つの方法でえられるパラメータは同一である。''
トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS