Markov Memproses hanya tergantung pada kondisi sebelumnya

Saya hanya ingin seseorang untuk mengkonfirmasi pemahaman saya atau jika saya kehilangan sesuatu.

Definisi proses markov mengatakan langkah selanjutnya tergantung pada kondisi saat ini saja dan tidak ada status masa lalu. Jadi, katakanlah kita memiliki ruang keadaan a, b, c, d dan kita pergi dari a-> b-> c-> d. Itu berarti bahwa transisi ke d hanya dapat bergantung pada kenyataan bahwa kita berada di c.

Namun, apakah benar bahwa Anda hanya dapat membuat model lebih kompleks dan semacam "menyiasati" batasan ini? Dengan kata lain, jika ruang keadaan Anda sekarang aa, ab, ac, iklan, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd, artinya ruang negara baru Anda menjadi keadaan sebelumnya dikombinasikan dengan keadaan saat ini, maka transisi di atas akan menjadi * a-> ab-> bc-> cd dan transisi ke cd (setara dalam model sebelumnya ke d) sekarang "tergantung" pada keadaan yang, jika dimodelkan secara berbeda, adalah keadaan sebelumnya (saya menyebutnya sebagai negara bagian di bawah).

Apakah saya benar karena dapat membuatnya "bergantung pada kondisi sebelumnya (sub-state)" (Saya tahu secara teknis tidak ada dalam model baru karena sub-state tidak lagi merupakan keadaan sebenarnya) mempertahankan properti markov dengan memperluas ruang negara seperti yang saya lakukan? Jadi, seseorang dapat secara efektif menciptakan proses markov yang dapat bergantung pada sejumlah negara bagian sebelumnya.

Secara teknis, kedua proses yang Anda gambarkan adalah rantai markov. Perbedaannya adalah bahwa yang pertama adalah rantai markov urutan pertama sedangkan yang kedua adalah rantai markov urutan kedua. Dan ya, Anda dapat mengubah rantai markov urutan kedua ke rantai markov urutan pertama dengan perubahan yang sesuai dalam definisi ruang negara. Biarkan saya jelaskan melalui sebuah contoh.

Misalkan kita ingin memodelkan cuaca sebagai proses stokastik dan anggaplah bahwa pada hari tertentu cuaca bisa hujan, cerah atau berawan. Biarkan menjadi cuaca di hari tertentu dan mari kita nyatakan keadaan yang mungkin dengan simbol (untuk hujan), untuk (cerah) dan (untuk berawan). R S $W_t$$R$$S$$C$

Rantai Markov Orde Pertama

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

Rantai Markov Orde Kedua

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

Rantai markov urutan kedua dapat diubah menjadi rantai markov urutan pertama yang mendefinisikan kembali ruang keadaan sebagai berikut. Menetapkan:

$Z_{t-1,t}$ sebagai cuaca pada dua hari berturut-turut.

Dengan kata lain, ruang keadaan dapat mengambil salah satu dari nilai berikut: , , , , , , , dan . Dengan ruang keadaan yang didefinisikan ulang ini, kami memiliki yang berikut:R C R S C R C C C S S R S C S $RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

Di atas jelas merupakan rantai markov urutan pertama pada ruang keadaan yang didefinisikan ulang. Satu perbedaan dari rantai markov urutan kedua adalah bahwa rantai markov Anda yang telah didefinisikan ulang harus ditentukan dengan dua keadaan awal, yaitu rantai harus dimulai dengan beberapa asumsi tentang cuaca pada hari 1 dan pada hari 2.

Definisi proses markov mengatakan langkah selanjutnya tergantung pada kondisi saat ini saja dan tidak ada status masa lalu.

Itu adalah properti Markov dan mendefinisikan MC orde pertama , yang sangat mudah ditelusur secara matematis dan cukup mudah untuk disajikan / dijelaskan. Tentu saja Anda bisa memesan MC (di mana keadaan selanjutnya tergantung pada keadaan saat ini dan keadaan ) serta pesanan variabel MC (ketika panjang memori diperbaiki tetapi tergantung pada keadaan sebelumnya ).$n^{th}$$n-1$

$n^{th}$ order MC mempertahankan formulasi eksplisit untuk distribusi status stasioner, tetapi seperti yang Anda tunjukkan, ukuran matriks state tumbuh dengan sedemikian rupa sehingga urutan yang tidak dibatasi MC dengan state memiliki entri dalam matriks keadaannya.$n$$n^{th}$$k$$O(k^{2n})$

Anda mungkin ingin melihat makalah baru-baru ini seperti rantai Markov multivariat tingkat tinggi dan aplikasinya karena bidang ini maju dengan cepat tanpa suara.