エントロピー
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
*シャノンの情報量:エントロピー [#xb176d05]
シャノンは情報理論の測定単位としてビットを考えた。
ある事象が起こる確率をpとするとき,それが起こったという...
S=-logp [ビット]
である。
-情報の最小単位は,0/1,真/偽,yes/noのように「...
-カード当てのゲームで,「カードの1枚が赤札だ(確率=1/...
--「万一の場合といいますが。この情報量は何ビットですか」l...
-性質
--加法性:AとBが独立な事象のとき、「AもBも起こる」という...
--起こりにくい事象(=生起確率が低い事象)の情報量ほど、...
*符号化に関するシャノンの補助定理 [#s4d0dcca]
-符号化
文字をビット列に置き換えること。`a'という文字を`00'、`b'...
置き換えられたビット列を符号語という。元に戻すのは復号化。
瞬時復号可能な符号化Kがあったとして,それぞれの符号語の出...
平均情報量であるところのエントロピーEは、
E=-Σpilogpi
とあらわせる
このとき、平均符号長LとエントロピーEの間には、
E<または=L
という関係が成立する。これがシャノンの補助定理。
''一意に復号可能な符号化はその平均符号語長をエントロピー...
*エントロピー [#z8d6097c]
ある事象Aが起こる確率をpとすれば,起こらない確率はq=...
H=-plogp-qlogq
となります。このようなHのことをエントロピーといいます。
-確率分布の情報量をエントロピーとよぶ。
確率分布(p1,p2,・・・,pn)が与えられたとき,こ...
H=-p1logp1-p2logp2・・・-pnlogpn
である。
*Claude Shannon in 1948 [#p3c8c6cd]
In information theory, entropy is the measure of the amou...
H(x)=-p1logp1-p2logp2・・・-pnlogp...
The entropy, H, of a discrete random variable X is a meas...
In the case of transmitted messages, these probabilities ...
*エントロピー最大とは [#b1eeda5f]
例題を考えます。消費者が、AとBの商品を、何の情報もなく選...
2個から1個を選ぶ確率分布のエントロピーは,
H=-plogp-(1-p)log(1-p)
となりますが,p=0.5(q=0.5)のときに最大になりま...
--これをベルヌーイ試行のエントロピーと呼ぶ。
#ref(entoropy.gif)
このように、エントロピー最大となる確率は、情報量によって...
-分散一定で、エントロピーが最大となる分布は?
--答え:正規分布です。証明してください。
*1因子情報路による選択の問題 [#we77bef2]
''制約条件下でエントロピーを最大化する問題をエントロピー...
特に価格などひとつの因子を与えて構成比を求める場合は、⼀...
問題です。
消費者が全然知識のない商品AとBがあり,Aの価格は200...
商品AとBの販売比率p,q(=1-p)を求めなさい。
この場合、
消費者は消費金額をできるだけ少なくし、エントロピーが最大...
と考えるのが、自然でしょう。何せ、自然な状態は、エントロ...
そこで
エントロピー/費用=L=H/C --->最大化
H=-Plogp - (1-p)log(1-p)
費用の期待値:C=200p+100(1-p)
を行いましょう。
この問題は
L=-(plogp+qlogq)/(2p+q)--->MAX
subject to p+q=1
ラグランジェの未定定数法で、未定乗数をλとして
∂ {H/c+λ(p+q-1)} / ∂p=0,
∂ {H/C+λ(p+q-1)} / ∂q=0,
を解けばよい。
(∂H/ ∂p・c- ∂ c/∂p ・H)/c^2+λ ={-(log p+loge)l-2H}/C^2+λ...
となり、これを解いて、
log p=-log e-2H/c+λc, log q=-log e-H/c+λc
となるので、
p log p+q log q=-log e-H+λc。
これより、λ=loge/lとなり、これを代入すると、
p=2^(-2H/c), q=2^(-H/c)
となる。ここで、2^(-H/c)=Xとおけば、
p=x^2, q=x^1
となる。
いま、p+q=1であるから、
x^2 +x^1=1
となる。
''X^2 +X=1 を解いてxを求め、p=x^2, q=x^1 を求められ...
--例題の場合:X=0.618となるので、qが62%、pが38%購...
*1因子情報路での多数選択の手順 [#f77fd13b]
n個の銘柄があり,その特性(価格)がc1,c2,・・・,...
X^c1+X^c2+・・・+X^cn=1
の根をX(0<X<1)とすれば,
n個の銘柄の分散確率(販売比率),p1,p2,・・・,p...
p1=X^c1, p2=X^c2, ・・・, pn=X...
で求められる。
*逆一因子情報路の問題 [#d4d3cb26]
これは、確率を与えて、因子の値をどうすればよいかを求める...
--例題:仕事の参加者は、仕事の効用(主として「給与+つら...
*[[天秤問題:情報量の問題>http://satoshi.blogs.com/life/2...
ここにありました。解法が見つかれば、答えをお知らせしまし...
[第一問]ここに8個の金貨があり、そのうち一つだけがとて...
[第二問]上の問題と同じ(他の金貨よりわずかに軽い偽造品...
[第三問]今度は少し条件を変えて、偽造品は「本物と少し重...
[第四問]第三問で予想した数の金貨の中から、天秤を3回だ...
[第五問](心理学の問題)第一問で、私が金貨の数を9個で...
[第六問](情報科の学生のみ)天秤を一度使うごとに、ある...
--参考:天秤は、「右が重い」「左が重い」「同じ重さ」の3種...
--例題:12枚の金貨があり、このうち1枚が重さが異なる偽金貨...
-参考:[[天秤と金貨>http://lecture-wiki.ecc.u-tokyo.ac.jp...
終了行:
*シャノンの情報量:エントロピー [#xb176d05]
シャノンは情報理論の測定単位としてビットを考えた。
ある事象が起こる確率をpとするとき,それが起こったという...
S=-logp [ビット]
である。
-情報の最小単位は,0/1,真/偽,yes/noのように「...
-カード当てのゲームで,「カードの1枚が赤札だ(確率=1/...
--「万一の場合といいますが。この情報量は何ビットですか」l...
-性質
--加法性:AとBが独立な事象のとき、「AもBも起こる」という...
--起こりにくい事象(=生起確率が低い事象)の情報量ほど、...
*符号化に関するシャノンの補助定理 [#s4d0dcca]
-符号化
文字をビット列に置き換えること。`a'という文字を`00'、`b'...
置き換えられたビット列を符号語という。元に戻すのは復号化。
瞬時復号可能な符号化Kがあったとして,それぞれの符号語の出...
平均情報量であるところのエントロピーEは、
E=-Σpilogpi
とあらわせる
このとき、平均符号長LとエントロピーEの間には、
E<または=L
という関係が成立する。これがシャノンの補助定理。
''一意に復号可能な符号化はその平均符号語長をエントロピー...
*エントロピー [#z8d6097c]
ある事象Aが起こる確率をpとすれば,起こらない確率はq=...
H=-plogp-qlogq
となります。このようなHのことをエントロピーといいます。
-確率分布の情報量をエントロピーとよぶ。
確率分布(p1,p2,・・・,pn)が与えられたとき,こ...
H=-p1logp1-p2logp2・・・-pnlogpn
である。
*Claude Shannon in 1948 [#p3c8c6cd]
In information theory, entropy is the measure of the amou...
H(x)=-p1logp1-p2logp2・・・-pnlogp...
The entropy, H, of a discrete random variable X is a meas...
In the case of transmitted messages, these probabilities ...
*エントロピー最大とは [#b1eeda5f]
例題を考えます。消費者が、AとBの商品を、何の情報もなく選...
2個から1個を選ぶ確率分布のエントロピーは,
H=-plogp-(1-p)log(1-p)
となりますが,p=0.5(q=0.5)のときに最大になりま...
--これをベルヌーイ試行のエントロピーと呼ぶ。
#ref(entoropy.gif)
このように、エントロピー最大となる確率は、情報量によって...
-分散一定で、エントロピーが最大となる分布は?
--答え:正規分布です。証明してください。
*1因子情報路による選択の問題 [#we77bef2]
''制約条件下でエントロピーを最大化する問題をエントロピー...
特に価格などひとつの因子を与えて構成比を求める場合は、⼀...
問題です。
消費者が全然知識のない商品AとBがあり,Aの価格は200...
商品AとBの販売比率p,q(=1-p)を求めなさい。
この場合、
消費者は消費金額をできるだけ少なくし、エントロピーが最大...
と考えるのが、自然でしょう。何せ、自然な状態は、エントロ...
そこで
エントロピー/費用=L=H/C --->最大化
H=-Plogp - (1-p)log(1-p)
費用の期待値:C=200p+100(1-p)
を行いましょう。
この問題は
L=-(plogp+qlogq)/(2p+q)--->MAX
subject to p+q=1
ラグランジェの未定定数法で、未定乗数をλとして
∂ {H/c+λ(p+q-1)} / ∂p=0,
∂ {H/C+λ(p+q-1)} / ∂q=0,
を解けばよい。
(∂H/ ∂p・c- ∂ c/∂p ・H)/c^2+λ ={-(log p+loge)l-2H}/C^2+λ...
となり、これを解いて、
log p=-log e-2H/c+λc, log q=-log e-H/c+λc
となるので、
p log p+q log q=-log e-H+λc。
これより、λ=loge/lとなり、これを代入すると、
p=2^(-2H/c), q=2^(-H/c)
となる。ここで、2^(-H/c)=Xとおけば、
p=x^2, q=x^1
となる。
いま、p+q=1であるから、
x^2 +x^1=1
となる。
''X^2 +X=1 を解いてxを求め、p=x^2, q=x^1 を求められ...
--例題の場合:X=0.618となるので、qが62%、pが38%購...
*1因子情報路での多数選択の手順 [#f77fd13b]
n個の銘柄があり,その特性(価格)がc1,c2,・・・,...
X^c1+X^c2+・・・+X^cn=1
の根をX(0<X<1)とすれば,
n個の銘柄の分散確率(販売比率),p1,p2,・・・,p...
p1=X^c1, p2=X^c2, ・・・, pn=X...
で求められる。
*逆一因子情報路の問題 [#d4d3cb26]
これは、確率を与えて、因子の値をどうすればよいかを求める...
--例題:仕事の参加者は、仕事の効用(主として「給与+つら...
*[[天秤問題:情報量の問題>http://satoshi.blogs.com/life/2...
ここにありました。解法が見つかれば、答えをお知らせしまし...
[第一問]ここに8個の金貨があり、そのうち一つだけがとて...
[第二問]上の問題と同じ(他の金貨よりわずかに軽い偽造品...
[第三問]今度は少し条件を変えて、偽造品は「本物と少し重...
[第四問]第三問で予想した数の金貨の中から、天秤を3回だ...
[第五問](心理学の問題)第一問で、私が金貨の数を9個で...
[第六問](情報科の学生のみ)天秤を一度使うごとに、ある...
--参考:天秤は、「右が重い」「左が重い」「同じ重さ」の3種...
--例題:12枚の金貨があり、このうち1枚が重さが異なる偽金貨...
-参考:[[天秤と金貨>http://lecture-wiki.ecc.u-tokyo.ac.jp...
ページ名: