Memperkirakan probabilitas rantai Markov

12

Apa yang akan menjadi cara umum untuk memperkirakan matriks transisi MC mengingat jangka waktu?

Apakah ada fungsi R untuk melakukan itu?

markov-process

— pengguna333
sumber

Apakah ini rantai markov keadaan diskrit atau kontinu?

— Makro

Diskrit saya pikir. Saya memiliki 5 kemungkinan status S1 hingga S5

— user333

Membangun jawaban yang bagus sebelumnya: ya, ada cara yang sadar posisi. Saya pikir itu mungkin melalui model Markov urutan ke-n.

14

Karena deret waktu bernilai diskrit, Anda dapat memperkirakan probabilitas transisi dengan proporsi sampel. Biarkan $Y_{t}$ menjadi keadaan proses pada waktu $t$ , ${\bf P}$ menjadi matriks transisi

P_{i j} = P (Y_{t} = j | Y_{t - 1} = i)

${\bf P}_{ij} = P(Y_{t} = j | Y_{t-1} = i)$

Karena ini adalah rantai markov, probabilitas ini hanya bergantung pada , sehingga dapat diperkirakan dengan proporsi sampel. Biarkan menjadi berapa kali proses dipindahkan dari keadaan ke . Kemudian, $Y_{t-1}$ $n_{ik}$ $i$ $k$

{\hat{P}}_{i j} = \frac{n_{i j}}{\sum_{k = 1}^{m} n_{i k}}

$\hat{{\bf P}}_{ij} = \frac{ n_{ij} }{ \sum_{k=1}^{m} n_{ik} }$

di mana adalah jumlah kemungkinan keadaan ( dalam kasus Anda). Penyebutnya, , adalah jumlah total pergerakan di luar status . Memperkirakan entri dengan cara ini sebenarnya sesuai dengan estimator kemungkinan maksimum dari matriks transisi, melihat hasilnya sebagai multinomial, dikondisikan pada . $m$ $m=5$ $\sum_{k=1}^{m} n_{ik}$ $i$ $Y_{t-1}$

Sunting: Ini mengasumsikan bahwa Anda memiliki deret waktu yang diamati pada interval yang berjarak sama. Kalau tidak, probabilitas transisi juga akan tergantung pada jeda waktu (bahkan jika mereka masih bersifat signifikan).

— Makro
sumber

6

Saya mendengar apa yang Anda katakan. Pada dasarnya frekuensi yang diamati akan menjadi matriks saya ... Dengan kata-kata simle!

— user333

Bagaimana dengan ruang keadaan kontinu? Althou aku berjuang sedikit untuk memahami konsep itu?

— user333

1

Untuk ruang keadaan kontinu, masalahnya menjadi jauh lebih rumit, karena Anda perlu memperkirakan fungsi transisi daripada matriks. Dalam hal itu, karena probabilitas marjinal berada dalam keadaan tertentu adalah 0 (sama dengan bagaimana probabilitas mengambil titik tertentu dalam ruang sampel adalah 0 untuk setiap distribusi kontinu) apa yang saya jelaskan di atas tidak masuk akal. Dalam kasus kontinu, saya yakin estimasi fungsi transisi adalah solusi untuk serangkaian persamaan diferensial (saya tidak terlalu terbiasa dengan ini sehingga seseorang tolong perbaiki saya jika saya salah)

— Makro

Apakah metode ini tidak mengasumsikan 1 pengamatan berkelanjutan, daripada banyak sesuai pos di bawah? Sebagai contoh, bayangkan E adalah kondisi yang menyerap ... Maka ini tidak akan diungkapkan di sini pasti?

— HCAI

4

Sangat, dengan hipotesis bahwa deret waktu Anda stasioner:

Untuk menyederhanakan jawaban Makro yang luar biasa

Di sini Anda memiliki deret waktu dengan 5 status: A, B, C, D, E

AAAEDDDCBEEEDBADBECADAAAACCCDDE

Anda hanya perlu menghitung dulu transisinya: - menyisakan transisi A: 9 Di antara 9 transisi tersebut, 5 adalah A-> A, 0 A-> B, 1 A-> C, 2 A-> D, 1 A-> E Jadi baris pertama dari matriks probabilitas transisi Anda adalah [5/9 0 1/9 2/9 1/9]

Anda melakukan penghitungan untuk setiap negara, dan kemudian mendapatkan matriks 5x5 Anda.

— Mickaël S
sumber

Contoh yang bagus, terima kasih. Jadi Markov Chains hanya memusatkan perhatian pada jumlah transisi, bukan penempatannya, benar? Misalnya, apakah akan AAABBBAmemiliki matriks yang sama dengan ABBBAAA?

— Marcin

ya, dengan rantai Markov jika Anda memiliki jumlah transisi yang sama Anda akan memiliki matriks yang sama. Ini adalah pertanyaan yang bagus. Bahkan apakah Anda tidak memiliki urutan yang sama persis Anda memiliki "perilaku" yang sama dan itu adalah yang paling penting dalam pemodelan, jika Anda ingin mengulangi urutan yang sama persis mengapa pemodelan? Cukup ulangi data Anda.

— Mickaël S

Apakah ada metode lain untuk menghitung transisi yang sadar posisi? Saya sedang melakukan penelitian tentang peretas kata sandi, jadi alangkah baiknya jika memiliki metode untuk menilai apa karakter berikutnya yang paling mungkin terjadi. Masalah dengan kata sandi adalah orang cenderung mengikuti aturan seperti meletakkan * di awal dan akhir kata sandi, atau menyelesaikan kata sandi dengan angka 1, jadi bukan hanya transisi yang diperhitungkan, tetapi juga lokasi mereka.

— Marcin

ok, saya tidak berpikir tentang hal itu, apakah Anda yakin bahwa Markov Chain adalah cara terbaik untuk melakukan apa yang ingin Anda lakukan? Jika Anda berpikir demikian, bagaimana keadaan Anda (setiap karakter adalah keadaan)? Dan bagaimana Anda berencana untuk menghitung transisi? Bagaimana Anda berencana menggunakan rantai markov?

— Mickaël S

1

fungsi markovchainFit dari paket markovchain berkaitan dengan masalah Anda.

— Giorgio Spedicato
sumber