Apa perbedaan antara rantai Markov dan proses Markov?

16

Saya membaca informasi yang bertentangan: kadang-kadang definisi didasarkan pada apakah ruang keadaan diskrit atau kontinu, dan kadang-kadang didasarkan pada apakah waktu diskrit kontinu.

Slide 20 dokumen ini :

Proses Markov disebut rantai Markov jika ruang keadaan diskrit, yaitu terbatas atau ruang dihitung diskrit, yaitu terbatas atau dapat dihitung.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Proses Markov adalah versi waktu-berkelanjutan dari rantai Markov.

Atau seseorang dapat menggunakan rantai Markov dan proses Markov secara sinonim, mendahului apakah parameter waktu kontinu atau diskrit serta apakah ruang keadaan kontinu atau diskrit.

Pembaruan 2017-03-04: pertanyaan yang sama ditanyakan di https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably

terminology stochastic-processes markov-process

— Franck Dernoncourt
sumber

1

Dalam pengalaman saya, definisi pertama salah. Rantai Markov sering digunakan dalam konteks pengambilan sampel dari distribusi posterior (MCMC). Posterior ini dapat didefinisikan pada finitnte atau ruang keadaan kontinu; jadi definisi pertama mungkin salah. Yang kedua lebih masuk akal. Namun, saya tidak berpikir ada banyak perbedaan di antara keduanya, karena saya sering melihat frasa, rantai Markov waktu terus menerus.

— Greenparker

1

Saya ingat apa yang saya pelajari dari buku teks adalah proses markov adalah istilah paling umum, dan rantai markov adalah waktu diskrit dan menyatakan kasus khusus diskrit.

— Haitao Du

8

Dari kata pengantar hingga edisi pertama "Rantai Markov dan Stokastik Stabilitas" oleh Meyn dan Tweedie:

Kami berurusan dengan Markov Chains di sini. Terlepas dari upaya awal oleh Doob dan Chung [99,71] untuk mencadangkan istilah ini untuk sistem yang berevolusi pada ruang yang dapat dihitung dengan parameter waktu diskrit dan kontinu, penggunaan tampaknya telah menurun (lihat misalnya Revuz [326]) di mana Markov berantai masuk waktu diskrit, pada ruang apa pun yang mereka inginkan; dan itulah sistem yang kami jelaskan di sini.

Sunting: referensi yang dikutip oleh referensi saya masing-masing adalah:

99: JL Doob. Proses Stochastic . John Wiley & Sons, New York 1953

71: KL Chung. Rantai Markov dengan Probabilitas Transisi Stasioner . Springer-Verlag, Berlin, edisi kedua, 1967.

326: D. Revuz. Rantai Markov . Holland Utara, Amsterdam, edisi kedua, 1984.

— Taylor
sumber

6

Salah satu metode klasifikasi proses stokastik didasarkan pada sifat time parameter( diskrit atau kontinu ) dan state space( diskrit atau kontinyu ). Ini mengarah ke empat kategori proses stokastik.

Jika state spaceproses stokastik adalah diskrit , apakah time parameterini diskrit atau kontinu , proses ini biasanya disebut rantai .

Jika proses stokastik memiliki properti Markov , terlepas dari sifat parameter waktu (diskrit atau kontinu) dan ruang keadaan (diskrit atau kontinu) , maka itu disebut proses Markov . Karenanya, kita akan memiliki empat kategori proses Markov.

Sebuah continuous time parameter, discrete state spaceproses stokastik memiliki properti Markov disebut parameter kontinu Markov chain (CTMC) .

Sebuah discrete time parameter, discrete state spaceproses stokastik memiliki properti Markov disebut parameter diskrit Markov chain (dtmc) .

Demikian pula, kita dapat memiliki dua proses Markov lainnya.

Pembaruan 2017-03-09:

Every independent increment process is a Markov process.

Poisson processmemiliki properti kenaikan independen adalah Markov processdengan parameter waktu kontinu dan status diskrit ruang

Brownian motion processmemiliki properti kenaikan independen adalah Markov processdengan parameter waktu kontinu dan proses ruang keadaan kontinu.

— LVRao
sumber