大数の法則

大数の法則 †

大数の法則とはコイン投げやサイコロで実感できるように、何度も試行すれば、コインの場合は表がでた割合は1/2に近づくし、サイコロではほぼ同じ出目数に近づくし、出目数の平均は3.5に近づく。このように、何度も同じ試行を独立に繰り返す時、確率変数の和の期待値が、限りなく母集団の期待値に近くなるという法則である。

↑

大数の法則とは †

ヤコブ・ベルヌーイ（Jakob Bernoulli、1654- 1705）による弱大数の法則を紹介する。 Xiを互いに独立で同じ確率分布に従う確率変数とする。その確率分布の期待値をμとし、平均値 X*=(x1+x2+...+xn)/n　をサンプル平均とする。下記の３つを仮定する

独立性：確率変数X1,X2, · · ·,Xn が互いに独立
平均の同一性：μ = E(Xi) , i = 1, 2, · · · , n
分散の有限性：σi^2 = V (Xi) ≤ σ2 , i = 1, 2, · · · , n

この時、任意の正数εについて

n-->無限大の時　Prob{| x*-μ|>ε ｝--->０

大数の法則は期待値(平均)μが存在することを前提としており、平均が存在しないような場合には大数の法則を適用することは適切ではない。

証明には、チェビシェフの不等式が使われる。

↑

チェビシェフの不等式 †

チェビシェフの不等式は、不等式で表される、確率論の基本的な定理である。パフヌティ・チェビシェフにより初めて証明された。

パフヌーティー・リヴォーヴィッチ・チェビシェフ（露:1821 - 1894）は、ロシアの数学者。ラテン文字を用いる地域での姓の転写方法はさまざまであり、Chebychev、Chebyshov、Tchebycheff、Tschebyscheffなどがある。

標本あるいは確率分布は、平均のまわりに、ある標準偏差をもって分布する。この分布と標準偏差の間に、どのような標本・確率分布でも成り立つ関係を示したのが、チェビシェフの不等式である。例えば、平均から 2標準偏差以上離れた値は全体の 1/4 を超えることはなく、一般にn標準偏差以上離れた値は全体の 1/(n^2) を超えることはない。

X を、期待値がμ、有限の分散がσ2である確率変数とすると、任意の実数k > 0に対して
```
Prob{|x-μ|≥kσ}<=1/k^2
```
あるいは
```
Prob{|x-μ|≥k}<=σ^2/k^2
```

ただしk > 1 の場合にだけ意味がある。
例として、 k=√2 を使えば、少なくとも半数の値は区間 (μ − √2 σ, μ + √2 σ)内に存在することがわかる。

証明まず、マルコフの不等式を示そう X を任意の確率変数とし、a > 0 とすると、
```
Prob{|x|≥a}<E(x)/a
```
が成立する。

任意の事象 E に対して、すると、事象 X ≥ a が起こるれば１、起こらなければ0となるような特性確率変数　I(X)を考える。

I(X ≥ a)=1
I(X<a)=0

この時、

aI(X ≥ a)=a

となるが、一方X ≥ aであるので

aI(X ≥ a)<=|x|

となる。両辺の期待値をとって

E(aI(X ≥ a))<=E(|x|)

左辺はaProb{|X|≥ a}と同じであるので

aProb{|X|≥ a}<=E(|x|)

a > 0 だから、両辺を a で割ればマルコフの不等式が成立することが判る。

任意の実数ランダム変数 Y と任意の正の実数 a に対して、マルコフの不等式から Pr(|Y| > a)≤ E(|Y|)/a であることがわかる。 a = (σk)2 として、確率変数 Y = (X − μ)2 にマルコフの不等式を適用することで、チェビシェフの不等式が証明できる。

直接の証明直接証明する方法もある。事象 A に対しIA が A の指示関数に従う確率変数である（つまり A が起これば IA は 1 に等しく、そうでなければ 0 である）とする。すると

である。

↑