Aritalab:Lecture/Basic/Inequality

分散とモーメント

[定義] E[$X^k$] を確率変数 X の k次モーメントと呼ぶ。

[定義] 確率変数 X の分散は

$\mathbf{Var}[X] = \mathbf{E}[(X-\mathbf{E}[X])^2] = \mathbf{E}[X^2] - (E[X])^2$

[定義]　確率変数 X の標準偏差 $\sigma$　は

$\sigma[X] = \sqrt{\mathbf{Var}[X]}$

Markovの不等式

確率変数 X と a > 0 に対し

$\textstyle \mbox{Pr}(|X| \geq a) \leq \mathbf{E}[|X|]/a$

をマルコフの不等式と呼ぶ。証明は随所に見られるので省略する。

Chebyshevの不等式

確率変数 X と a > 0 に対し

$\textstyle \mbox{Pr}(|X - \mathbf{E}[X]| \geq a) \leq \mathbf{Var}[X]/a^2$

をチェビシェフの不等式と呼ぶ。証明には、$\mbox{Pr}(|X - \mathbf{E}[X]| \geq a) = \mbox{Pr}(|X - \mathbf{E}[X]|^2 \geq a^2)$ に対してマルコフの不等式を適用する。

MarkovとChebyshevの違い

例1

正の整数 k に対し、確率　1/k で k E[X] をとり、確率 (1- 1/k) で 0　をとる確率変数 X を考える。 このときマルコフの不等式は $\mbox{Pr}(X \geq k\mathbf{E}[X] ) \leq 1/k$　となるが、定義より $\mbox{Pr}(X = k\mathbf{E}[X])=1/k$ なので等号が成立する。つまり不等式が十分「きつい」例になっている。

この分布の分散は $\textstyle \frac{k^2}{k}(\mathbf{E}[X])^2 - (\mathbf{E}[X])^2 = (k-1)(\mathbf{E}[X])^2$ となる。チェビシェフの不等式は $\textstyle \mbox{Pr}(|X - \mathbf{E}[X]| \geq k\mathbf{E}[X]) \leq (k-1)/k^2$ を与える。