マルコフ連鎖: 複雑な現象をシンプルにモデル化する確率論の魔法

マルコフ連鎖とは何か？
マルコフ性と状態遷移
マルコフ連鎖の具体例
マルコフ連鎖のメリットとデメリット
1. メリット
2. デメリット
Pythonで実装してみた
1. クラス実装
2. 使用例
マルコフ連鎖の発展と今後の可能性
まとめ

マルコフ連鎖とは何か？

マルコフ連鎖は、ロシアの数学者アンドレイ・マルコフが提唱した確率過程のモデルです。過去の状態に依存せず、現在の状態のみに依存して次の状態が確率的に決定される性質を持っています。この性質により、複雑なシステムの挙動を比較的シンプルなモデルで表現できるため、自然言語処理や金融工学、気象予測など幅広い分野で応用されています。

マルコフ連鎖の大きな特徴は以下の2点です。

未来の状態は現在の状態にのみ依存し、過去の状態に依存しない
状態間の遷移確率は時間によらず一定である

つまり、マルコフ連鎖では「無記憶性」と「時間的一様性」が仮定されています。これにより、複雑な現象をシンプルにモデル化することが可能となります。

マルコフ性と状態遷移

マルコフ性とは、未来の状態が現在の状態のみに依存し、過去の状態に依存しない性質のことです。以下の条件下を与えた場合

$$S={s_1,s_2,\dots,s_n}　…状態の集合$$

$$t　…時刻$$

$$X_t　…時刻tにおける確率変数$$

以下が成り立つ確率変数。

$$P(X_{t+1}=s_j|X_t=s_i,X_{t-1}=s_{i_{t-1}},\dots,X_1=s_{i_1})=P(X_{t+1}=s_j|X_t=s_i)$$

状態遷移とは、ある状態から別の状態へと変化することを指します。マルコフ連鎖では、各状態間の遷移確率が定義されており、これを遷移確率行列で表現します。

$$P=\begin{pmatrix} p_{11} & p_{12} & \cdots & p_{1n} \\
\ p_{21} & p_{22} & \cdots & p_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
p_{n1} & p_{n2} & \cdots & p_{nn} \end{pmatrix}$$

ここで、以下が成り立ちます。つまり、各状態からの遷移確率の和は1となります。

$$\sum_{j=1}^n p_{ij}=1$$

マルコフ連鎖の具体例

マルコフ連鎖の具体例として、以下のような状況を考えてみましょう。

あるWebサイトには3つのページA、B、Cがあります。各ページから別のページへ遷移する確率が以下のように与えられているとします。

ページAからページAへ遷移する確率: 0.4
ページAからページBへ遷移する確率: 0.4
ページAからページCへ遷移する確率: 0.2
ページBからページAへ遷移する確率: 0.3
ページBからページBへ遷移する確率: 0.5
ページBからページCへ遷移する確率: 0.2
ページCからページAへ遷移する確率: 0.1
ページCからページBへ遷移する確率: 0.6
ページCからページCへ遷移する確率: 0.3

この場合、状態空間は$S={A,B,C}$であり、遷移確率行列は以下のようになります。

$$P=\begin{pmatrix} 0.4 & 0.4 & 0.2 \\
0.3 & 0.5 & 0.2 \\
0.1 & 0.6 & 0.3 \end{pmatrix}$$

例えば、初期状態がページAである確率が0.5、ページBである確率が0.3、ページCである確率が0.2だとすると、2ステップ後にページBにいる確率は以下のように計算できます。

$$P(X_2=B)=0.5\times0.4+0.3\times0.5+0.2\times0.6=0.47$$

このように、マルコフ連鎖を用いることで、複雑なページ遷移の挙動を確率的にモデル化し、将来の状態を予測することができます。

マルコフ連鎖のメリットとデメリット

メリット

複雑な現象を比較的シンプルなモデルで表現できる
将来の状態を確率的に予測できる
幅広い分野で応用可能

デメリット

モデルの前提条件が現実と乖離している場合がある
パラメータの推定に大量のデータが必要
長期的な依存関係を捉えることが困難

特に、マルコフ連鎖では「無記憶性」を仮定しているため、過去の状態に依存した現象を表現するには限界があります。そのような場合には、より高次のマルコフモデルや他の確率モデルを検討する必要があります。

Pythonで実装してみた

クラス実装

import numpy as np

class MarkovChain:
    def __init__(self, states, transition_matrix):
        self.states = states
        self.transition_matrix = np.array(transition_matrix)
        self.state_dict = {state: i for i, state in enumerate(states)}
        self.current_state = None

    def set_initial_state(self, state):
        self.current_state = state

    def next_state(self):
        current_index = self.state_dict[self.current_state]
        next_index = np.random.choice(range(len(self.states)), p=self.transition_matrix[current_index])
        self.current_state = self.states[next_index]
        return self.current_state

    def generate_states(self, n):
        states = [self.current_state]
        for _ in range(n - 1):
            states.append(self.next_state())
        return states

使用例

states = ['A', 'B', 'C']
transition_matrix = [
    [0.4, 0.4, 0.2],
    [0.3, 0.5, 0.2],
    [0.1, 0.6, 0.3]
]

mc = MarkovChain(states, transition_matrix)
mc.set_initial_state('A')

print(mc.next_state())  # 次の状態を生成
print(mc.generate_states(5))  # 5個の状態を生成