最大エントロピー原理

最大エントロピー原理（Principle of maximum entropy） †

今確率変数 X について、 X が条件 I を満たす事だけが分かっており、それ以外に X に関して何1つ知らなかったとする。このとき、 X が従う分布はどのようなものであると仮定するのが最も自然であろうか。今我々は X について条件 I 以外には何も知らないのだから、条件 I の下で X の「不確かさ」が最大になるような分布を選ぶのが適切だと思われる。

• 最大エントロピー原理は、「不確かさ」を図る尺度であるエントロピーを条件 I の下で最大にするよう分布を選ぶべきである、という原理である。

具体例 †

制約条件 I により、エントロピーを最大化する分布は以下のようになる：

X が区間[a,b]にある事だけが分かっている⇒は[a,b]上の一様分布
X の平均 と分散 はだけが分かっている⇒ X は平均 、分散 の正規分布
X が正値で平均 である事だけが分かっている⇒平均 の指数分布
X の値域が有限集合 で平均が である事だけが分かっている⇒ という形の分布。

歴史 †

認識確率分布を一意に定めるために利用可能な情報を分析する手法である。この原理を最初に提唱したのは E.T. Jaynes である。彼は1957年に統計力学のギブズ分布を持ち込んだ熱力学（最大エントロピー熱力学）を提唱した際に、この原理も提唱したものである。彼は、熱力学やエントロピーは、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。他のベイズ的手法と同様、最大エントロピー原理でも事前確率を明示的に利用する。これは古典的統計学における推定手法の代替である。

統計力学におけるエントロピー：とりうる状態の数の対数 †

統計力学では、与えられた（固定された全内部エネルギー E のような）マクロな束縛に対して可能な異なるミクロ状態の数 W の自然対数を用いて、エントロピー S が定義される。

S = k log(W)

比例定数 k がボルツマン定数である。この等式は、系のミクロな詳細と系のマクロな状態を関係づけていて、これが統計力学の中心的な考え方である。

• n個の物をr個の箱に入れる」場合の数をWとすれば 　　　但し　1つの箱に物を何個入れてもよい。物は区別しない(物はすべて同じ物)、箱は区別する 求めたい場合の数は、

  W=(n+r-1)!/n!/(r-1)!

• 状態の数-ある粒子○は、エネルギーe、2e、3e、…を取り得るとする。その粒子が左右の箱に2個ずつ入っているとする　[○○]- [○○]。左の箱の全エネルギーは4e、右の箱の全エネルギー0であるとする。 左の箱は、4eを2個に分配するのだから、その状態の数は、5!/4!/1!=5 右の箱は、1通りだから、左右両方での状態の数は、5*1=5通り 左右の箱をくっつけ、エネルギーのやりとりがあり、平衡状態になったとする。エネルギーは保存されている。左右の箱の全エネルギーはそれぞれ 2e になる。 左右の箱は、それぞれ、2eを2個に分配するので、その状態の数は 3!/2!/1!=3 左右両方での状態の数は、3*3=9通り したがって、状態の数は、5通りから9通りに増えたことになる。
• ｛例｝[4個8e]-[4個0e]=>[4個4e]=[4個4e]を考えてみよう。 平衡になる前　(11!/8!/3!)*1=11*10*9/6=165通り 平衡になった後　(7!/4!/3!)*(7!/4!/3!)=(7*6*5/6)*(7*6*5/6)=35*35=1225通り

微視モデル：マクスウェル分布 †

マクスウェル分布は、最大エントロピー原理から導く事ができる。

詳細はWikipedia参照のこと

エントロピー増大の法則 †

今、1つの容器があるとし、容器の中央には板が入っていて、容器の右半分と左半分が仕切られているとする。この状態で二種類の気体A、B がそれぞれ容器の右半分、左半分に入れられているときに、容器中の分子が従う分布は、最大エントロピー原理により、

(1) A は容器の右半分、 B は左半分に入っている 

という条件下でエントロピーを最大化する。

次に板を外すと、容器中の分子の分布が変化する。この状態で分子が従う分布は、再び最大エントロピー原理により、

(2) A 、B が容器に入っている 

という条件下でエントロピーを最大化する。

明らかに条件(2)は条件(1)よりも弱い。従って条件(2)の下での最大値は、条件(1)の下での最大値よりも大きい（小さくない）。すなわち、板を外す事でエントロピーは増大する。