Aritalab:Lecture/Basic/Expectation

Menu:

確率の定義

平均と分散

分布

期待値と平均

定義

E[ 確率変数 ] = Xの値とその値をとる確率の総和

期待値とは、確率変数（例えばサイコロ）の取る値とその確率とをかけた総和です。 通常「平均」というと、全ての要素が等確率で生じているという前提があるので、数学では期待値という言葉を使います。期待値は英語で expectation なので E[確率変数] と書きます。

例. フェアなサイコロの期待値

E[サイコロ] = 1/6 + 2/6 + 3/6 + 4/6 + 5/6 + 6/6 = 3.5

E[フェアなコインで表が出る] = 1 * 1/2 + 0 * 1/2 = 0.5

コインのときは、表が出たら1, 裏が出たら0として計算しています。

重要な性質

E[n X] = n E[X] (n ... 実数)

期待値は確率変数の値の和をとっているだけなので、変数の値が全てn倍されたら期待値もn倍されます。

E[X+Y] = E[X] + E[Y]

二つの確率変数 X, Y があったとき、和の期待値は、期待値の和に等しいという性質は、確率変数が互いに独立でなくても成立します。期待値の定義を考えると確率の足し算をしているだけですから、和について「くくりだし」が可能です。

確率変数という言葉がわかりにくい場合は、サイコロを考えてください。二つのサイコロの目を足した数の期待値（平均）は、個々のサイコロの期待値（平均）の和ということです。例えば、サイコロ2個を振って出る目を足した数の平均値を数え上げて求めるのは、目の組み合わせが1,1の場合から6,6の場合まで数え上げなくてはならず大変です。 しかし、上の式を用いれば簡単に求められます。

例. サイコロ2個の和の期待値

E[サイコロ2個の和] = E[サイコロ1個] + E[サイコロ1個] = 3.5 + 3.5 = 7

E[コイン10枚で表が出る] = 10 * E[コイン1枚] = 10 * 1/2 = 5

では、サイコロの目を足すかわりに掛けた場合、目の期待値を簡単に求められるでしょうか。 二つのサイコロが独立のときに限り、期待値は積についても分配できます。

例. サイコロ2個の積の期待値

E[サイコロ2個の積] = ( E[サイコロ1個] )² = (3.5)² = 12.25

E[コイン2枚の積] = ( E[コイン1枚] )² = (1/2)² = 0.25

コイン2枚のほうは、両方とも表が出ないと積が1になりません。期待値0.25という結果は納得がいきます。

分散

分散とは、確率変数（例えばサイコロ）がとる値のばらつきを２乗したものです。この値は、確率変数がとる値の２乗の平均から、平均の２乗を引いた値に等しくなります。分散は英語で variance なので V[確率変数] と書きます。

定義

V[X] = E[ (X - E[X])² ] = E[ X² ] -(E[X])²

定義における二つ目の等式は以下のようにして成立します。

$\textstyle \begin{alignat}{2} V[E] &= E[(X-E[X])^2]\\ &= E[X^2 -2E[X] * X + E[X]^2]\\ &= E[X^2] - E[ 2E[X] * X] + E[X]^2\\ &= E[X^2] - 2E[X]E[X] + E[X]^2\\ &= E[X^2] - E[X]^2 \end{alignat}$

例.　フェアなサイコロの分散 (サイコロの目の平均値は 3.5)

$\textstyle \begin{alignat}{2} V[E] &= { (1-3.5)^2+(2-3.5)^2+(3-3.5)^2+(4-3.5)^2+(5-3.5)^2+(6-3.5)^2 } /6\\ &= 35/12 \simeq 2.916 \end{alignat}$

重要な性質

$\begin{alignat}{2} V[nX] &= E[(nX)^2] - E[nX]^2\\ &= n^2E[X^2] - n^2E[X]^2\\ &= n^2 V[X]\\ V[X+Y] &= V[X] + V[Y] \end{alignat}$

ただし X,Y は独立とし、そうでない場合には V[X+Y] > V[X] + V[Y] です。この差分を共分散 (covariance) と呼びます（V[X+Y] = V[X] + V[Y] + 2Cov[X,Y]）。

例.　2個のサイコロの和の分散と、サイコロの目の2倍の分散

V[サイコロ+サイコロ] = 35/12 + 35/12 = 35/6

V[ 2 * サイコロ ] = 4 * 35 / 12 = 35/3

サイコロを1個振ってその目を二倍した場合、2から12までの偶数が等確率(1/6)で出てきます。しかし2個のサイコロの和の場合、2や12はそれぞれ1/36の確率でしか出ません。6は(1,5) (2,4) (3,3) (4,2) (5,1)という組み合わせがありうるので5/36の確率で出てきます。つまり、6や7という平均的な値が出やすくなっているので、目の二倍よりも分散が半分になります。

応用例として、n 個のサイコロを振ったときの、目の平均値の分散を考えてみましょう。個々のサイコロの目の期待値は7/2です。n 個の平均の期待値は7/2のまま変わりません。しかし分散は違います。n 個のサイコロの目の和の分散を計算してみましょう。ここではサイコロを X と記述します。

例 複数のサイコロの目の平均の分散

V[(X₁+X₂+ ... X_n)/n]

= (1/n²)V[X₁+X₂+ ... X_n]

= (1/n²)n V[X]

= (1/n)V[X] = 35/12n

サイコロの数が多ければ多いほど、分散は0に近づきます。

標準偏差

分散の平方根を標準偏差 (standard deviation) σ と呼びます。また、標準偏差を 100 倍して平均で割った値を 変動係数 (CV: coefficient of variation) または 相対標準偏差 (RSD: relative standard deviation) と呼びます。

CV = RSD = 100 σ / E[X]

共分散

定義

Cov[X,Y] = E[ (X - E[X]) (Y - E[Y]) ] = E[XY] - E[X]E[Y]

共分散 (covariance) は二組の対応する確率変数の間で、ばらつきが異なる度合いです。数式にすると、Xにおいて平均からズレた量とYにおいて平均からズレた量を掛け算して平均したものにあたります。つまり平均を 0 になるように規格化した X と Y の内積になっています。定義における等式の二つ目は、分散の定義における証明と同じ理由で成立します。

定義から

Cov[X,Y] = Cov[Y,X]

Cov[X,X] = V[X]

です。共分散は X と Y に関して対称に定義されていて、X と Y が独立なら 0 になります。 X と Y のばらつきの傾向が似ていれば大きな正の値になり、似ていなければ大きな負の値になります。共分散という定義が概念的に捉えにくい場合、相関という概念を考えると良いでしょう。相関がある・ないという言葉は日常でも使われますが、共分散の値を 1 ～ -1 の間になるように規格化したものを相関と呼びます。

相関

定義

共分散を X の標準偏差と Y の標準偏差で割ったものが相関係数です。

$Corr[X,Y] = \frac{Cov[X,Y]}{V[X]^{1/2}V[Y]^{1/2}}$

そう書くと難しく思えますが、標準偏差で割るのは分散が 1 になるように X と Y の大きさを割り算して揃えているだけです。平均は共分散を求める際に 0 になるように規格化してありました。集合 X と Y に対してまず平均が 0 分散が 1 になるように規格化し、それらを多次元ベクトルとみなして内積を求めたものが相関です。

内積の値は多次元ベクトルがなす角度の cos （コサイン）ですから、cosΘの範囲として ±1 の間をとります。ベクトルが全く同じ方向を向いている時が 1 (= cos 0)、直行する時が 0 (= cos 90)、逆向きの時が -1 (= cos 180) です。