マルコフ過程 【Markov process】

概要

解説 何らかの現実の事象の推移をモデル化した過程のうち、次に起きる事象が確定的でなく、何が起きるかが確率的に決まるようなモデルを確率過程という。マルコフ過程はそのうち、次に起きる事象の確率が現在あるいは直近の状態のみによって決定され、以前の状態には依存しないようなものを指す。

過去の状態の影響を受けず、現在の状態のみによって次の状態が決まるような性質を「マルコフ性」（Markov property）という。現実の多くの現象はマルコフ性を仮定することができ、マルコフ過程によってモデル化することができる。科学技術や金融など様々な分野でシミュレーションや予測に応用されている。

マルコフ過程のうち、現在の状態ただ一つのみを用いて過去をすべて無視するモデルを「単純マルコフ過程」という。単にマルコフ過程という場合は通常これを指す。一方、特殊なモデルとして、現在から遡って過去N個分の状態の履歴を用いる場合があり、「N階マルコフ過程」という。

取りうる状態が離散的（有限の選択肢から一つを選ぶ）であるような過程を「離散状態マルコフ過程」、状態が連続的に変化する過程を「連続状態マルコフ過程」という。また、時刻を離散的なステップで表す過程を「離散時間マルコフ過程」、時刻の連続的な流れを扱う過程を「連続時間マルコフ過程」という。実際のモデルでは状態も時刻も離散的に扱うことが多く、これを「マルコフ連鎖」（Markov chain）という。