尤度関数
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
*尤度関数とは [#rc00bbbd]
尤度とは、観測データから推測する際の、尤もらしさ(もっと...
この尤度を、関数として与えたものである。
--尤度関数は後に示すように確率密度関数とは別の概念である。
--尤度に関する初期の考察はデンマークの数学者トルバルド・...
*ベイズの定理と尤度 [#j46f3d4f]
B = b であることが確定している場合に、 A が起きる確率(条...
P(A|B=b)
とする。
このとき、逆に ''A が観察で確認されていることを基にして、...
条件付き確率(ベイズの定理)より
P(A|B)=P(A|B)P(B)/P(B)
であるので、観測データBが与えられた場合には、それからAに...
*ベルヌーイ試行の同時確率密度と最尤推定値とその性質 [#m37...
表(H:Head) が出たらX = 1,裏(T:Tail) が出たらX = 0 という...
にする.X の確率分布f(x)はP(H) = P(X = 1) = f(1) = p,P(T...
とすれば、n 回コインを投げたときの同時確率密度関数は、独...
f(x1,x2,..,xn)=Π p^xi(1 - p)^(1-xi) = p^(Σxi)(1-p)^(...
尤度関数L(p)とすれば
L(p)=ΣxiLog(p)+(n-Σxi)Log(1-p)
これを、最大とする未知パラメータは、1回微分して0として
dL/dp=Σxi/p-(n-Σxi)Log(1-p)=0
推定値p*を求めると
P*=Σxi/n
定義よりn回コインを投げたときに出た表の数がΣxiであり、全...
それでは、この推定値は良い性質を持っているでしょうか?
-不偏推定量
推定値の期待値は
E(P*)=E(Σxi/n)=Σ[ E(xi)]/n
ところが
E(xi)= 1f(1)+0f(0) = p
より
E(P*)=np/p=p
となるので、尤度を最大化して求められた標本百分率は母数pの...
-一致推定量
V(p*) =V(x)/n=P(1-p)/n
となりChebyshev の不等式からn-->無限大のとき
P(|p - p*| > ε)<or=P(1-p)/(εn)--->0
となるので、一致推定量である。
-有効推定量
クラーメルラオの不等式から、最も分散の少ない推定量(最小...
*ベルヌーイ試行と尤度と最尤推定法 [#r6401abf]
表の出る確率を p 、裏の出る確率を 1 − p とする(ここで p ...
n回の試行でXが発生する確率は次の確率密度関数であらわされ...
P(x)=nCx・p^x・(1-p)^(n-x)
nCx = n!/(x!・(n-x)!) :n個からx個を取り出す場合の数
ここで実際に観測がおこなわれ、80回試行して、結果として表(...
観察されたデータが与えられたとして、それがどのようなP=θで...
この時の尤度は
P(X|p=θ)=[80!/(49!31!)]p^49・(1-p)^(31)
である。これを最大にするp=θが尤度を最大にする母数である。
この関数を最大化するには p に関して微分しその値を0にすれ...
49P^48(1-p^31)-31p^49(1-0)^30=0
これを解けば p = 0 、 p = 1 、 p = 49 / 80 の3つの解が得...
--この結果で、ベルヌーイ試行の成功数49を t と置き、全回数...
p*=t/n
で表わされる。
''このように、尤度を最大にするような母数(未知パラメータ...
*正規分布の場合の最尤推定法 [#q76d347f]
n 個のデータ x1,x2,...,xnが正規分布する,すなわち X=(x1,...
#ref(NormalDistribution.png)
で与えられる場合を考えよう。このときに観測データx1,x2,......
このとき,対数尤度は,
#ref(Likelihood.JPG)
この対数尤度が最大となるのは,μおよび σについて1回微分し...
よって、最尤推定値は、下記で得られる。
#ref(likelihoodEstimation.JPG)
*お天気予想の最尤推定法 [#g1e54f12]
梅雨時に、お天気を観察したところ、晴が18回、雨が12回であ...
P(x,n|θ)=nCxθ^x(1-θ)^(n-x)
P(18,30|θ)=18C30θ^18(1-θ)^12
最尤推定値は、上の尤度が最も大きくなるθである。尤度の対数...
L(θ)=LogP(18,30|θ)=Log(18C30)+18Logθ+12Log(1-θ)
dL/dθ=0 より
18/θ-12/(1-θ)=0
最尤推定値は、θ*=18/30=0.6 である。
このように、未知パラメータのもとで、観測値が得られる確率...
-マルコフ過程のページで示した、お天気の観測データの場合を...
n期の晴の確率は、次のxn1で表わされ、雨の確率はxn2で表わさ...
xn1=4/7+(θ0-4/7)(-1/6)^n
xn2=1-xn1
t=1,nのお天気の観測値が得られた。初期状態θ0を、お天気デー...
Xn1=θnと置いて、観測データが得られる確率を求めてみよう。
t期に晴れる確率は θtであるので、t期にytが得られる確率は
P(yt|θ0)=θt^yt(1-θt)^(1-yt)
である。
そこで、観測されたお天気データが得られる確率は,積で表わされ
L(θ0)=P(y1,y2,...,yn|θ0)=ΠP(yt|θ0) Πは1からnの積
であるので、この対数尤度をとれば
LogL=ΣLogP(yt|θ0)=Σ{ytLogθt+(1-yt)Log(1-θt)}
これをθ0で微分して0となるので
d(LogL)/dθ0=Σ{yt(1/θt)dθt/dθ0+(1-yt)(1/(1-θt))(-1)dθt/dθ...
Σ{(dθt/dθ0)yt/θt-(dθt/dθ0)(1-yt)/(1-θt)}=0
Σ{(dθt/dθ0)[yt/θt-(1-yt)/(1-θt)]}=0
Σ{(dθt/dθ0)[yt-θt]}=0
dθt/dθ0は、次式である。
dθt/dθ0=(-1/6)^t
代入して
Σ{(-1/6)^t(yt-θt)}=0
ただし θt=4/7+(θ0-4/7)(-1/6)^t
上記より、最尤推定値のθ0*がもとめられる。
式から判るように、毎期の観測値の値と晴れる確率の差(誤差)...
面倒ですが、整理しましよう。
Σ{(-1/6)^t(yt-θt)}=0
左辺第2項は
Σ{(-1/6)^t(θt)}=Σ{(-1/6)^t[(4/7)(1-(-1/6)^t)+(-1/6)^tθ0]}
=Σ{(4/7)(-1/6)^t(1-(-1/6)^t)}+θ0Σ(-1/6)^2t
ゆえに
θ0=Σ{(-1/6)^t(yt)-(4/7)(-1/6)^t(1-(-1/6)^t)}/{Σ(-1/6)^2t}
求める解は、下記の通りです。
θ0=Σ{(-1/6)^t[(yt)-(4/7)(1-(-1/6)^t)]}/{Σ(-1/6)^2t}
-マルコフ過程のページで示した''最小二乗法の解と、この最尤...
*練習問題 [#x7c28d9d]
-1.身長分布が正規分布N(μ,σ)に従う母集団から、2人を選ん...
-2.観測器の測定誤差がN(0,σ)σ=1cmで所与である。この条件...
*ベイズ統計 [#xf45d71b]
ベイズ統計学は「ベイズの定理」だけを用いる,単純で強力な...
このような事前確率は主観に左右されるため,これを徹底的...
現代のベイズ統計学はラプラス時代のような単純なものではな...
終了行:
*尤度関数とは [#rc00bbbd]
尤度とは、観測データから推測する際の、尤もらしさ(もっと...
この尤度を、関数として与えたものである。
--尤度関数は後に示すように確率密度関数とは別の概念である。
--尤度に関する初期の考察はデンマークの数学者トルバルド・...
*ベイズの定理と尤度 [#j46f3d4f]
B = b であることが確定している場合に、 A が起きる確率(条...
P(A|B=b)
とする。
このとき、逆に ''A が観察で確認されていることを基にして、...
条件付き確率(ベイズの定理)より
P(A|B)=P(A|B)P(B)/P(B)
であるので、観測データBが与えられた場合には、それからAに...
*ベルヌーイ試行の同時確率密度と最尤推定値とその性質 [#m37...
表(H:Head) が出たらX = 1,裏(T:Tail) が出たらX = 0 という...
にする.X の確率分布f(x)はP(H) = P(X = 1) = f(1) = p,P(T...
とすれば、n 回コインを投げたときの同時確率密度関数は、独...
f(x1,x2,..,xn)=Π p^xi(1 - p)^(1-xi) = p^(Σxi)(1-p)^(...
尤度関数L(p)とすれば
L(p)=ΣxiLog(p)+(n-Σxi)Log(1-p)
これを、最大とする未知パラメータは、1回微分して0として
dL/dp=Σxi/p-(n-Σxi)Log(1-p)=0
推定値p*を求めると
P*=Σxi/n
定義よりn回コインを投げたときに出た表の数がΣxiであり、全...
それでは、この推定値は良い性質を持っているでしょうか?
-不偏推定量
推定値の期待値は
E(P*)=E(Σxi/n)=Σ[ E(xi)]/n
ところが
E(xi)= 1f(1)+0f(0) = p
より
E(P*)=np/p=p
となるので、尤度を最大化して求められた標本百分率は母数pの...
-一致推定量
V(p*) =V(x)/n=P(1-p)/n
となりChebyshev の不等式からn-->無限大のとき
P(|p - p*| > ε)<or=P(1-p)/(εn)--->0
となるので、一致推定量である。
-有効推定量
クラーメルラオの不等式から、最も分散の少ない推定量(最小...
*ベルヌーイ試行と尤度と最尤推定法 [#r6401abf]
表の出る確率を p 、裏の出る確率を 1 − p とする(ここで p ...
n回の試行でXが発生する確率は次の確率密度関数であらわされ...
P(x)=nCx・p^x・(1-p)^(n-x)
nCx = n!/(x!・(n-x)!) :n個からx個を取り出す場合の数
ここで実際に観測がおこなわれ、80回試行して、結果として表(...
観察されたデータが与えられたとして、それがどのようなP=θで...
この時の尤度は
P(X|p=θ)=[80!/(49!31!)]p^49・(1-p)^(31)
である。これを最大にするp=θが尤度を最大にする母数である。
この関数を最大化するには p に関して微分しその値を0にすれ...
49P^48(1-p^31)-31p^49(1-0)^30=0
これを解けば p = 0 、 p = 1 、 p = 49 / 80 の3つの解が得...
--この結果で、ベルヌーイ試行の成功数49を t と置き、全回数...
p*=t/n
で表わされる。
''このように、尤度を最大にするような母数(未知パラメータ...
*正規分布の場合の最尤推定法 [#q76d347f]
n 個のデータ x1,x2,...,xnが正規分布する,すなわち X=(x1,...
#ref(NormalDistribution.png)
で与えられる場合を考えよう。このときに観測データx1,x2,......
このとき,対数尤度は,
#ref(Likelihood.JPG)
この対数尤度が最大となるのは,μおよび σについて1回微分し...
よって、最尤推定値は、下記で得られる。
#ref(likelihoodEstimation.JPG)
*お天気予想の最尤推定法 [#g1e54f12]
梅雨時に、お天気を観察したところ、晴が18回、雨が12回であ...
P(x,n|θ)=nCxθ^x(1-θ)^(n-x)
P(18,30|θ)=18C30θ^18(1-θ)^12
最尤推定値は、上の尤度が最も大きくなるθである。尤度の対数...
L(θ)=LogP(18,30|θ)=Log(18C30)+18Logθ+12Log(1-θ)
dL/dθ=0 より
18/θ-12/(1-θ)=0
最尤推定値は、θ*=18/30=0.6 である。
このように、未知パラメータのもとで、観測値が得られる確率...
-マルコフ過程のページで示した、お天気の観測データの場合を...
n期の晴の確率は、次のxn1で表わされ、雨の確率はxn2で表わさ...
xn1=4/7+(θ0-4/7)(-1/6)^n
xn2=1-xn1
t=1,nのお天気の観測値が得られた。初期状態θ0を、お天気デー...
Xn1=θnと置いて、観測データが得られる確率を求めてみよう。
t期に晴れる確率は θtであるので、t期にytが得られる確率は
P(yt|θ0)=θt^yt(1-θt)^(1-yt)
である。
そこで、観測されたお天気データが得られる確率は,積で表わされ
L(θ0)=P(y1,y2,...,yn|θ0)=ΠP(yt|θ0) Πは1からnの積
であるので、この対数尤度をとれば
LogL=ΣLogP(yt|θ0)=Σ{ytLogθt+(1-yt)Log(1-θt)}
これをθ0で微分して0となるので
d(LogL)/dθ0=Σ{yt(1/θt)dθt/dθ0+(1-yt)(1/(1-θt))(-1)dθt/dθ...
Σ{(dθt/dθ0)yt/θt-(dθt/dθ0)(1-yt)/(1-θt)}=0
Σ{(dθt/dθ0)[yt/θt-(1-yt)/(1-θt)]}=0
Σ{(dθt/dθ0)[yt-θt]}=0
dθt/dθ0は、次式である。
dθt/dθ0=(-1/6)^t
代入して
Σ{(-1/6)^t(yt-θt)}=0
ただし θt=4/7+(θ0-4/7)(-1/6)^t
上記より、最尤推定値のθ0*がもとめられる。
式から判るように、毎期の観測値の値と晴れる確率の差(誤差)...
面倒ですが、整理しましよう。
Σ{(-1/6)^t(yt-θt)}=0
左辺第2項は
Σ{(-1/6)^t(θt)}=Σ{(-1/6)^t[(4/7)(1-(-1/6)^t)+(-1/6)^tθ0]}
=Σ{(4/7)(-1/6)^t(1-(-1/6)^t)}+θ0Σ(-1/6)^2t
ゆえに
θ0=Σ{(-1/6)^t(yt)-(4/7)(-1/6)^t(1-(-1/6)^t)}/{Σ(-1/6)^2t}
求める解は、下記の通りです。
θ0=Σ{(-1/6)^t[(yt)-(4/7)(1-(-1/6)^t)]}/{Σ(-1/6)^2t}
-マルコフ過程のページで示した''最小二乗法の解と、この最尤...
*練習問題 [#x7c28d9d]
-1.身長分布が正規分布N(μ,σ)に従う母集団から、2人を選ん...
-2.観測器の測定誤差がN(0,σ)σ=1cmで所与である。この条件...
*ベイズ統計 [#xf45d71b]
ベイズ統計学は「ベイズの定理」だけを用いる,単純で強力な...
このような事前確率は主観に左右されるため,これを徹底的...
現代のベイズ統計学はラプラス時代のような単純なものではな...
ページ名: