Aritalab:Lecture/NetworkBiology/Markov Chains

From Metabolomics.JP
Jump to: navigation, search
Wiki Top Up one level レポートの書き方 Arita Laboratory

Contents

ここではランダムウォークを考えるのに便利な概念を導入します。

マルコフ連鎖

離散確率過程X_0, X_1, X_2 \ldots

\mbox{Pr}(X_t = a_t | X_{t-1} = a_{t-1}, X_{t-2} = a_{t-2}, \ldots X_0 = a_0 )
= \mbox{Pr}(X_t = a_t | X_{t-1} = a_{t-1})

を満たすときにマルコフ連鎖 (Markov chain) と呼ばれます。マルコフとはロシアの統計学者 Andrei A. Markov (1856-1922) のことで、マルコフ連鎖に関する多くの功績を残しました。状態 (state) X_t が状態 X_{t-1} のみに依存して決まる性質をマルコフ性 (Markov property) または無記憶性 (memoryless property) といいます。

マルコフ連鎖において状態 i から j への遷移確率をp_{i,j} = \mbox{Pr}(X_t = j | X_{t-1} = i ) と書けば、マルコフ連鎖は遷移行列


{\mathbf P} = 
\begin{bmatrix}
  p_{0,0}  & p_{0,1} & \cdots & p_{0,j} & \cdots \\
  p_{1,0}  & p_{1,1} & \cdots & p_{1,j} & \cdots \\
  \vdots   & \vdots  & \ddots & \vdots  & \ddots \\ 
  p_{i,0}  & p_{i,1} & \cdots & p_{i,j} & \cdots \\
  \vdots   & \vdots  & \ddots & \vdots  & \ddots \\ 
\end{bmatrix}

で記述できます。[1] 遷移確率を表すので行列の行方向に足し合わせた値は必ず 1 になっており、確率行列 (stochastic matrix) と呼ばれます。もし行方向に足し合わせても 1 になる場合、二重確率行列 (doubly stochastic matrix) と呼ばれます。

記法を拡張し、i から j へ正確に m ステップで移る遷移確率を

p_{i,j}^m = \mbox{Prob}(X_{t+m} = j | X_{t} = i )

と書きましょう。1ステップ目で移動した先を k と書くと \textstyle p_{i,j}^m = \sum_{k} p_{i,k} \cdot p^{m-1}_{k,j} であるから、遷移行列{\mathbf P}m 乗すれば正確に m ステップで移った先を示す遷移行列を得ます(数学的帰納法)。また記法をそろえるために

p_{i,j}^1 = p_{i,j}

p_{i,j}^0 =
\begin{cases}\textstyle
1 & (j = i)\\
0 & (j \not= i)
\end{cases} と定義します。

チャップマン-コルモゴロフの等式

m ステップの遷移を、 s ステップと ms ステップに分解する以下の式は、チャップマン-コルモゴロフの等式と呼ばれます。

p^m_{ij} = \sum^{\infty}_{k=1} p^{s}_{ik} p^{m-s}_{kj} \quad (0 < s < m)

証明


\begin{align}
p^m_{ij} & = \mbox{Prob}\{X_m = j | X_0 = i \} \\
& = \textstyle\sum^{\infty}_{k=1} \mbox{Prob}\{ X_m = j, X_s = k | X_0 = i \} \\

& = \textstyle\sum^{\infty}_{k=1} \mbox{Prob}\{ X_m = j | X_s = k, X_0 = i \} \mbox{Prob}\{ X_s = k | X_0 = i \}\\
& = \textstyle\sum^{\infty}_{k=1} \mbox{Prob}\{ X_m = j | X_s = k \} \mbox{Prob}\{ X_s = k | X_0 = i \} \\
& = \textstyle\sum^{\infty}_{k=1} p^{m-s}_{kj} p^s_{ik}
\end{align}

これから考えたいのは、ネットワーク上を遷移行列に従って無限時間移動した際の、各状態における存在確率(定常分布)です。 ただしユニークな定常分布が存在するためには、これから述べる規約、再帰性、非周期性という概念が必要になります。

既約

状態 i から j へ何ステップかで到達できる場合、ji から到達可能 (accessible) と呼びます。 互いに到達可能な状態 i, j どうしを連結 (communicate) しているといい、i \leftrightarrow jと書きます。連結性は同値類を形成します。

  • 反射律 (reflexivity): いかなる状態 i も、i \leftrightarrow i
  • 対称律 (symmetry): i \leftrightarrow jならj \leftrightarrow i
  • 推移律 (transitivity): i \leftrightarrow jかつj \leftrightarrow kならi \leftrightarrow k

全ての状態が同じ同値類 (communication class) に属すとき、つまり全ての頂点が互いに連結なとき、マルコフ連鎖は既約 (irreducible) といいます。既約なマルコフ連鎖とは、グラフ表現すると強連結 (strongly connected) になっていて、任意の頂点から任意の頂点に移動できる場合に相当します。

また、状態集合 C は、C に属すどの状態からも C 以外の状態に抜け出せないとき、閉じている (closed) といいます。例えば、グラフ表現した際に外に出る辺をもたない状態だけからなる集合は閉じています。

例: 2次元ランダムウォーク

0 と N の間を左右に移動し、0, N を吸収状態とするランダムウォークを考えます。0, N は吸収状態とします。すると3つの同値類 {0}, {1, 2, ..., N−1}, {N} が存在し、{0, N} は閉じています。

再帰性

状態 i から出発し時刻 t になって初めて j に到達する確率をr^t_{i,j}と書く。 前出のp^t_{i,j}は複数回 j を訪れることを許すため、r^t_{i,j} \leq p^t_{i,j}となることに注意しよう。

状態 i

\textstyle \sum_{t= 1}^{\infty} r^t_{i,i} < 1であれば一時的 (transient)
\textstyle \sum_{t= 1}^{\infty} r^t_{i,i} = 1であれば再帰的 (recurrent)

と呼ぶ。全ての状態が再帰的であれば、マルコフ連鎖自体を再帰的と呼びます。

状態 i が再帰的であっても、再帰までのステップ数(再帰時間)の期待値 M_{i,i} が有限とは限りません。 例えば正の整数値に対応するマルコフ連鎖を仮定し、状態 i から確率 i/(i +1) で状態 i +1 に、確率 1/(i +1) で状態 1 に移動する系を考えます。 状態 1 からスタートして最初の t ステップで 1 に戻らない確率は

\textstyle \prod^t_{j=1} \frac{j}{j+1} = \frac{1}{t+1} \xrightarrow{t \rightarrow \infty} 0

したがって状態 1 は再帰的で、r^t_{1,1} = 1/t (t +1)。 しかし初めて状態 1 に戻ってくるまでのステップ数の期待値は

\textstyle M_{1,1} = \sum^{\infty}_{t=1} t \cdot r^t_{1,1} = \sum^{\infty}_{t=1} \frac{1}{t+1} \xrightarrow{t \rightarrow \infty} \infty

再帰時間の期待値が有限な状態を正再帰的 (positive recurrent)、そうでない場合をゼロ再帰的 (null recurrent) と呼びます。 ゼロ再帰性を満たすには無限の状態数が必要です。 状態数が N 個で有限の場合、少なくとも N+1 ステップ目には既に訪れた状態に辿り着きます。 よって少なくとも一つの再帰的な状態が存在しなくてはならず、そして再帰的な状態であれば、状態数が有限なので必ず正再帰的です。

例: 2次元ランダムウォーク

0 と N の間を左右に移動し、0, N を吸収状態とするランダムウォークを考えます。0, N は吸収状態とします。同値類 {1,2, ..., N−1} は一時的な状態です。

周期性

状態 i に戻ってくるまでのステップ数が自然数 k (>1) の倍数回に限られ、しかも k がこの性質を持つ最大値の場合、状態 i は周期 k です。 k=1 のとき、状態は非周期的であるといいます。


エルゴード的

全ての状態が非周期的で正再帰的なマルコフ連鎖を、エルゴード的 (ergodic) であるといいます。有限で規約かつ非周期的なマルコフ連鎖はエルゴード的になります。なぜなら、規約という条件で少なくとも一つの再帰的な状態が存在するため、全ての状態が再帰的になる。さらに有限なため、すべての状態が正再帰的といえるからです。

定常分布

マルコフ連鎖の遷移行列\mathbf Pに対して

\bar\pi = \bar\pi \mathbf P

を満たし、要素の総和が 1 、つまり \textstyle \sum_i \pi_i = 1 となるような行ベクトル\bar\pi = (\pi_0, \pi_1, \ldots, \pi_n)を定常分布 (stationary distribution) といいます。 既約でエルゴード的なマルコフ連鎖は唯一つの定常分布 \bar\pi を持ち、 再帰時間の期待値との間に

\textstyle \pi_i = \lim_{t\rightarrow \infty} p^t_{j,i} = \frac{1}{M_{i,i}}

が成り立ちます。 これは再帰時間の期待値が出発する状態 j に依存しないことを意味し、再帰までのステップ数期待値が M_{i,i} ならば状態 i に戻ってくる確率が 1/M_{i,i} であることに対応します。つまり各状態における存在確率は出発点に依存しません。

\textstyle \lim_{t \rightarrow \infty} p^t_{j,i} = 
\lim_{t \rightarrow \infty} p^t_{i,i} = \frac{1}{M_{i,i}}

さらに定常分布においては、各状態に入る確率と出る確率が等しいことにも注意します。 つまり全ての状態 i, j に対し、i から

\textstyle \sum^n_{j=0}\pi_i p_{i,j} = \sum^0{j=0}\pi_j p_{j, i} = \pi_i

定常分布がただ一つに定まることを証明しましょう。 仮に定常分布が二つあるとして、もう一つの分布を \bar\phi と書きます。 定常分布であるから

\phi_i = \sum_k \phi_k p^t_{k,i} \xrightarrow{t \rightarrow \infty}
\sum_k \phi_k \pi_i = \pi_i \sum_k \phi_k = \pi_i

すなわち\bar \phi = \bar \piです。

参考

  1. 状態 i から j への遷移確率を pi,j とする記法が主流ですが (Karlin & Taylor 1975)、Linda JS Allen (2011 2nd Ed) では j から i への遷移確率を pi,j と定義しています。そうすると定常分布を考える際に 以下で書くように行ベクトル π を用いて \bar\pi = \bar\pi \mathbf P とするのではなく、列ベクトルを用いて \bar\pi = \mathbf P \bar\pi と書けるようになります。記法上の問題であり、本質はかわりません。

マルコフ連鎖の例

待ち行列

窓口に並ぶ客の人数 i をモデルしよう。 単位時間において以下の事象が発生する。

  • もし i < n だったら、確率 α で客が一人増える。
  • もし i > 0 なら、確率 β で先頭から順に客は減る。
  • それ以外の場合、客の数は変化しない。

時刻 t における行列の長さを考えると、有限のマルコフ連鎖になっている。遷移確率は以下のようになる。


\begin{align}
p_{i, i+1} &= \alpha \quad \mbox{if} \quad  i < n; \\
p_{i, i-1} &= \beta \quad \mbox{if} \quad i > 0; \\
p_{i, i} &= 
\begin{cases}
 1 - \alpha & \mbox{if } \quad i=0,\\
 1 - \alpha - \beta & \mbox{if } \quad 1 \leq i \leq n - 1, \\
 1 - \beta & \mbox{if } \quad i = n
\end{cases}
\end{align}

マルコフ連鎖は既約、有限、非周期的なので唯一の定常分布 \bar \pi を持つ。 満たすべき式は


\begin{align}
\pi_0 &= (1 - \alpha) \pi_0 + \beta \pi_1 \\
\pi_i &= \alpha \pi_{i-1} + (1 -\alpha -\beta) \pi_i + \beta \pi_{i+1} \\
\pi_n &= \alpha \pi_{n-1} + (1-\beta)\pi_n
\end{align}

これを解くと \pi_i = \pi_0 \Big( \frac{\alpha}{\beta} \Big)^i 。 更に \sum^n_{i=0} \pi_i = \pi_0 \sum^n_{i=0} \Big( \frac{\alpha}{\beta} \Big)^i = 1 より

 \pi_i = \frac{ (\alpha/\beta)^i }{\sum^n_{i=0} (\alpha/\beta)^i}

結論
  • α > β のときは行列が長い確率の方が大きい
  • α = β のとき、行列の長さは0からnまで等確率

同じ結果は、定常状態において α πi = β πi +1 という考察からも導くことができる。πi = (α/β) πi +1 から帰納法で πi = π0(α/β)i となる。

列の長さに上限 n が無い場合、マルコフ連鎖は有限ではない。もし定常分布があるとしたら(ない可能性もある)


\begin{align}
\pi_0 &= (1 - \alpha) \pi_0 + \beta \pi_1 \\
\pi_i &= \alpha \pi_{i-1} + (1 -\alpha -\beta) \pi_i + \beta \pi_{i+1} \ (i \geq 1)
\end{align}

の解が存在しなくてはならない。前出の解から類推して

\pi_i = \frac{ (\alpha/\beta)^i }{\sum^\infty_{i=0} (\alpha/\beta)^i} = \Big(\frac{\alpha}{\beta}\Big)^i\Big(1-\frac{\alpha}{\beta}\Big)

が答えになる。このとき α < β でないと定常分布は存在しない。

出生死亡過程

このページを参照。

Personal tools
Namespaces

Variants
Actions
Navigation
metabolites
Toolbox