マルコフ連鎖と確率過程の基礎

このモジュールで学ぶこと

「今日の天気は昨日の天気だけに依存し、一昨日以前は関係ない」このような「現在が与えられれば過去と未来が独立になる性質」を持つ確率過程がマルコフ連鎖です。「ベイズ推定とマルコフ連鎖」で登場したMCMCの理論的基礎でもあります。

確率過程とは「時間とともに変わる確率変数の系列」

$\{X_t,t=0,1,2,\dots \}$ のように時刻ごとの確率変数の列を確率過程（Stochastic Process）と呼びます。株価、天気、ランダムウォークなど「時間とともに変化する不確かさ」を記述します。

---

1. マルコフ連鎖の定義と推移確率

マルコフ性（Markov Property）：

「未来 $X_{t+1}$ の確率は現在 $X_t$ だけで決まり、過去は関係ない」という性質です。

1時刻先への遷移確率 $p_{ij}=P(X_{t+1}=j\mid X_t=i)$ を推移確率と呼びます。これを行列にした $P=(p_{ij})$ が推移確率行列で、各行の和は1です。

$t$ 時刻後の推移確率は $P^t$（行列の $t$ 乗）で得られます。

---

2. 既約性・再帰性

既約性（Irreducibility）：すべての状態から他のすべての状態へ有限ステップで到達できること。つまり「孤立した状態が存在しない」状態です。

再帰性（Recurrence）：状態 $i$ から出発したとき、いつか必ず $i$ に戻ってくる確率が1であること。有限状態の既約なマルコフ連鎖はすべての状態が再帰的です。

周期性（Periodicity）：状態 $i$ に戻る時刻が $d$ の倍数になる場合、周期 $d$ を持つと言います。$d=1$ を非周期的と呼びます。

既約・非周期の有限マルコフ連鎖はエルゴード的と呼ばれ、定常分布の存在が保証されます。

---

3. 定常分布

定常分布（Stationary Distribution）$\mathbf{\pi }=({\pi }_1,{\pi }_2,\dots )$ は：

を満たす確率分布です。「この分布から出発するとずっとこの分布にとどまる」という均衡状態です。

エルゴード的マルコフ連鎖では、初期状態によらず時刻 $t\to \infty$ で定常分布に収束します：$P(X_t=j)\to {\pi }_j$。

MCMCではこの性質を使います。望む分布 $\pi$ を定常分布に持つマルコフ連鎖を設計し、長時間走らせることで $\pi$ からのサンプルを得ます。

---

4. ランダムウォーク

「コインを投げるたびに1歩右か左に動く人は、どこまで行くか？」これがランダムウォーク（Random Walk）の直感です。株価の日々の変動・花粉の拡散・遺伝的浮動など、「現在の状態から小さなランダムな変化を繰り返す」現象の基礎モデルです。

$X_0=0$、各ステップで確率 $p$ で $+1$、確率 $1-p$ で $-1$ 動く：$X_t=X_{t-1}+Z_t$（$Z_t=\pm 1$）。

$p=1/2$ の対称ランダムウォークは一次元ブラウン運動の離散近似です。$E[X_t]=0$、$\text{Var}(X_t)=t$ で、時間とともに広がります。

再帰性：1次元の対称ランダムウォークは再帰的（いつか必ず原点に戻る）。2次元も再帰的。3次元以上は非再帰的（確率1で原点に戻らない）。

---

5. ポアソン過程とブラウン運動

ポアソン過程（Poisson Process）は「単位時間に平均 $\lambda$ 件のイベントが発生する」連続時間確率過程です。

• 任意の区間 $[s,t]$ でのイベント数は ポアソン分布に従う：$\text{Po}(\lambda (t-s))$
• 重ならない区間のイベント数は独立
• イベント間の時間は指数分布に従う

ブラウン運動（Brownian Motion）$\{B_t,t\ge 0\}$ は連続時間の極限的なランダムウォークです：

• $B_0=0$
• 独立増分：$B_t-B_s\sim N(0,t-s)$（重ならない区間の増分が独立）
• 連続なパス（確率1で）

ブラウン運動は金融工学（株価モデル）・物理（拡散過程）・ベイズ統計（事前分布）で広く使われます。

試験頻出：定常分布の方程式 $\mathbf{\pi }P=\mathbf{\pi }$ と、ポアソン過程のイベント数 $\sim \text{Po}(\lambda t)$ は必須です。