http://metabolomics.jp/mediawiki/index.php?action=history&feed=atom&title=Aritalab%3ALecture%2FBasic%2FEntropy 2026-04-08T17:45:41Z Revision history for this page on the wiki MediaWiki 1.19.1 http://metabolomics.jp/mediawiki/index.php?title=Aritalab:Lecture/Basic/Entropy&diff=254429&oldid=prev 2010-11-08T05:34:17Z

<p></p> <table class='diff diff-contentalign-left'> <col class='diff-marker' /> <col class='diff-content' /> <col class='diff-marker' /> <col class='diff-content' /> <tr valign='top'> <td colspan='2' style="background-color: white; color:black;">← Older revision</td> <td colspan='2' style="background-color: white; color:black;">Revision as of 05:34, 8 November 2010</td> </tr><tr><td colspan="2" class="diff-lineno">Line 4:</td> <td colspan="2" class="diff-lineno">Line 4:</td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background: #eee; color:black; font-size: smaller;"></td><td class='diff-marker'>&#160;</td><td style="background: #eee; color:black; font-size: smaller;"></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background: #eee; color:black; font-size: smaller;"><div>===シャノン情報量===</div></td><td class='diff-marker'>&#160;</td><td style="background: #eee; color:black; font-size: smaller;"><div>===シャノン情報量===</div></td></tr> <tr><td class='diff-marker'>−</td><td style="background: #ffa; color:black; font-size: smaller;"><div>ある物事が起きる確率を ''p'' とするとき、その事象が起きたことによって得られる情報量を <del class="diffchange diffchange-inline">- </del>log ''p'' と定義します。</div></td><td class='diff-marker'>+</td><td style="background: #cfc; color:black; font-size: smaller;"><div>ある物事が起きる確率を ''p'' とするとき、その事象が起きたことによって得られる情報量を <ins class="diffchange diffchange-inline">&amp;minus; </ins>log ''p'' と定義します。</div></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background: #eee; color:black; font-size: smaller;"><div>確率は 0 から 1 までの値をとるので情報量は正の値になり、起こりにくい (pが小さい) 事象ほど情報量が多くなります。</div></td><td class='diff-marker'>&#160;</td><td style="background: #eee; color:black; font-size: smaller;"><div>確率は 0 から 1 までの値をとるので情報量は正の値になり、起こりにくい (pが小さい) 事象ほど情報量が多くなります。</div></td></tr> <tr><td class='diff-marker'>−</td><td style="background: #ffa; color:black; font-size: smaller;"><div><del class="diffchange diffchange-inline">対数をとる理由は確率の桁数を情報量として（大雑把に）把握するためです。</del></div></td><td class='diff-marker'>+</td><td style="background: #cfc; color:black; font-size: smaller;"><div><ins class="diffchange diffchange-inline">対数をとる理由は確率の桁数を（大雑把に）情報量としよう、というだけです。対数の底は何でもよいのですが通常は </ins>2 で考えます。</div></td></tr> <tr><td class='diff-marker'>−</td><td style="background: #ffa; color:black; font-size: smaller;"><div><del class="diffchange diffchange-inline">対数の底は何でもよいのですが通常は </del>2 で考えます。</div></td><td class='diff-marker'>+</td><td style="background: #cfc; color:black; font-size: smaller;"><div></div></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background: #eee; color:black; font-size: smaller;"></td><td class='diff-marker'>&#160;</td><td style="background: #eee; color:black; font-size: smaller;"></td></tr> <tr><td class='diff-marker'>−</td><td style="background: #ffa; color:black; font-size: smaller;"><div><del class="diffchange diffchange-inline">ここでは物事が起きる確率を考えているので、他の事象も起きる可能性があることになります。そこで確率分布 </del>P に対する情報量を以下のように定義します。</div></td><td class='diff-marker'>+</td><td style="background: #cfc; color:black; font-size: smaller;"><div><ins class="diffchange diffchange-inline">ここでは物事が起きる確率を考えているので、他の事象も起きる可能性があります。そこで確率分布 </ins>P に対する情報量を以下のように定義します。</div></td></tr> <tr><td class='diff-marker'>−</td><td style="background: #ffa; color:black; font-size: smaller;"><div>: H(P) = <del class="diffchange diffchange-inline">- </del>&amp;Sigma;&lt;sub&gt;i&lt;/sub&gt; P(i) log P(i)</div></td><td class='diff-marker'>+</td><td style="background: #cfc; color:black; font-size: smaller;"><div>: H(P) = <ins class="diffchange diffchange-inline">&amp;minus; </ins>&amp;Sigma;&lt;sub&gt;i&lt;/sub&gt; P(i) log P(i)</div></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background: #eee; color:black; font-size: smaller;"><div>ただし P(''i'') は事象 i が起きる確率です。これを平均情報量、または P のエントロピーと呼びます。</div></td><td class='diff-marker'>&#160;</td><td style="background: #eee; color:black; font-size: smaller;"><div>ただし P(''i'') は事象 i が起きる確率です。これを平均情報量、または P のエントロピーと呼びます。</div></td></tr> </table>

Adm http://metabolomics.jp/mediawiki/index.php?title=Aritalab:Lecture/Basic/Entropy&diff=254428&oldid=prev 2010-11-08T05:28:12Z

<p>New page: ==情報学におけるエントロピー== エントロピーという概念は物理学で提案されました。Claude Shannon が平均情報量を、情報のエントロピーと...</p> <p><b>New page</b></p><div>==情報学におけるエントロピー==<br /> <br /> エントロピーという概念は物理学で提案されました。Claude Shannon が平均情報量を、情報のエントロピーとして紹介したために情報学でもよく使われる言葉になりました。（この名前をShannonに提案したのはvon Neumannらしいです。）<br /> <br /> ===シャノン情報量===<br /> ある物事が起きる確率を ''p'' とするとき、その事象が起きたことによって得られる情報量を - log ''p'' と定義します。<br /> 確率は 0 から 1 までの値をとるので情報量は正の値になり、起こりにくい (pが小さい) 事象ほど情報量が多くなります。<br /> 対数をとる理由は確率の桁数を情報量として（大雑把に）把握するためです。<br /> 対数の底は何でもよいのですが通常は 2 で考えます。<br /> <br /> ここでは物事が起きる確率を考えているので、他の事象も起きる可能性があることになります。そこで確率分布 P に対する情報量を以下のように定義します。<br /> : H(P) = - &amp;Sigma;&lt;sub&gt;i&lt;/sub&gt; P(i) log P(i)<br /> ただし P(''i'') は事象 i が起きる確率です。これを平均情報量、または P のエントロピーと呼びます。</div>

Adm