Proses AR (1) dengan kesalahan pengukuran heteroskedastik

1. Masalahnya

Saya memiliki beberapa pengukuran variabel , di mana , di mana saya memiliki distribusi diperoleh melalui MCMC, yang untuk kesederhanaan saya akan menganggapnya sebagai gaussian rata-rata dan varians . $y_t$ $t=1,2,..,n$ $f_{y_t}(y_t)$ $\mu_t$ $\sigma_t^2$

Saya punya model fisik untuk pengamatan itu, katakanlah $g(t)$ , tetapi residual $r_t = \mu_t-g(t)$ tampaknya berkorelasi; khususnya, saya memiliki alasan fisik untuk berpikir bahwa proses $AR(1)$ akan cukup untuk memperhitungkan korelasinya, dan saya berencana untuk mendapatkan koefisien kecocokan melalui MCMC, yang saya perlukan kemungkinannya . Saya pikir solusinya agak sederhana, tetapi saya tidak begitu yakin (sepertinya sangat sederhana, bahwa saya pikir saya kehilangan sesuatu).

2. Menurunkan kemungkinan

Proses nol-rata $AR(1)$ dapat ditulis sebagai:

X_{t} = ϕ X_{t - 1} + ε_{t}, (1)

$X_t = \phi X_{t-1}+\varepsilon_t,\ \ \ (1)$ mana saya akan mengasumsikan

ε_{t} \sim N (0, σ_{w}^{2})

$\varepsilon_t\sim N(0,\sigma_w^2)$ . Parameter yang diestimasi adalah, oleh karena itu,

θ = {ϕ, σ_{w}^{2}}

$\theta = \{\phi,\sigma_w^2\}$ (dalam kasus saya, saya juga harus menambahkan parameter model

g (t)

$g(t)$ , tetapi bukan itu masalahnya). Apa yang saya amati, bagaimanapun, adalah variabel

R_{t} = X_{t} + η_{t}, (2)

$R_t = X_t+\eta_t,\ \ \ (2)$ mana saya mengasumsikan

η_{t} \sim N (0, σ_{t}^{2})

$\eta_t\sim N(0,\sigma_t^2)$ , dan

σ_{t}^{2}

$\sigma_t^2$ diketahui (the kesalahan pengukuran). Karena

X_{t}

$X_t$ adalah proses gaussian,

R_{t}

$R_t$ juga. Secara khusus, saya tahu itu

X_{1} \sim N (0, σ_{w}^{2} / [1 - ϕ^{2}]),

$X_1 \sim N(0,\sigma_w^2/[1-\phi^2]),$ oleh karena itu,

R_{1} \sim N (0, σ_{w}^{2} / [1 - ϕ^{2}] + σ_{t}^{2}) .

$R_1 \sim N(0,\sigma_w^2/[1-\phi^2]+\sigma_t^2).$ Tantangan berikutnya adalah mendapatkan

R_{t} | R_{t - 1}

$R_t|R_{t-1}$ untuk

t \neq 1

$t\neq 1$ . Untuk mendapatkan distribusi variabel acak ini, perhatikan bahwa, menggunakan persamaan.

(2)

$(2)$ Saya dapat menulis

X_{t - 1} = R_{t - 1} - η_{t - 1} . (3)

$X_{t-1} = R_{t-1}-\eta_{t-1}.\ \ \ (3)$ Menggunakan persamaan.

(2)

$(2)$ , dan menggunakan definisi persamaan.

(1)

$(1)$ , saya bisa menulis,

R_{t} = X_{t} + η_{t} = ϕ X_{t - 1} + ε_{t} + η_{t} .

$R_{t} = X_t+\eta_t = \phi X_{t-1}+\varepsilon_{t}+\eta_t.$ Menggunakan persamaan

(3)

$(3)$ dalam ungkapan terakhir ini, maka, saya memperoleh,

R_{t} = ϕ (R_{t - 1} - η_{t - 1}) + ε_{t} + η_{t},

$R_{t} = \phi (R_{t-1}-\eta_{t-1})+\varepsilon_{t}+\eta_t,$ dengan demikian,

R_{t} | R_{t - 1} = ϕ (r_{t - 1} - η_{t - 1}) + ε_{t} + η_{t},

$R_t|R_{t-1} = \phi (r_{t-1}-\eta_{t-1})+\varepsilon_{t}+\eta_t,$ dan, karenanya,

R_{t} | R_{t - 1} \sim N (ϕ r_{t - 1}, σ_{w}^{2} + σ_{t}^{2} - ϕ^{2} σ_{t - 1}^{2}) .

$R_t|R_{t-1} \sim N(\phi r_{t-1},\sigma_w^2+\sigma_t^2-\phi^2\sigma^2_{t-1}).$ Akhirnya, saya dapat menulis fungsi kemungkinan sebagai

L (θ) = f_{R_{1}} (R_{1} = r_{1}) \prod_{t = 2}^{n} f_{R_{t} | R_{t - 1}} (R_{t} = r_{t} | R_{t - 1} = r_{t - 1}),

$L(\theta) = f_{R_1}(R_1=r_1) \prod_{t=2}^{n} f_{R_{t}|R_{t-1}}(R_t=r_t|R_{t-1}=r_{t-1}),$ mana

f (\cdot)

$f(\cdot)$ adalah distribusi dari variabel yang baru saja saya definisikan, .ie, mendefinisikan

σ^{' 2} = σ_{w}^{2} / [1 - ϕ^{2}] + σ_{t}^{2},

$\sigma'^2 = \sigma_w^2/[1-\phi^2]+\sigma_t^2,$

f_{R_{1}} (R_{1} = r_{1}) = \frac{1}{\sqrt{2 π σ^{' 2}}} exp (- \frac{r_{1}^{2}}{2 σ^{' 2}}),

$f_{R_1}(R_1=r_1) = \frac{1}{\sqrt{2\pi \sigma'^2}}\text{exp}\left(-\frac{r_1^2}{2\sigma'^2}\right),$ dan mendefinisikan

σ^{2} (t) = σ_{w}^{2} + σ_{t}^{2} - ϕ^{2} σ_{t - 1}^{2}

$\sigma^2(t) = \sigma_w^2+\sigma_t^2-\phi^2\sigma^2_{t-1}$ ,

f_{R_{t} | R_{t - 1}} (R_{t} = r_{t} | R_{t - 1} = r_{t - 1}) = \frac{1}{\sqrt{2 π σ^{2} (t)}} exp (- \frac{(r_{t} - ϕ r_{t - 1})^{2}}{2 σ^{2} (t)})

$f_{R_{t}|R_{t-1}}(R_t=r_t|R_{t-1}=r_{t-1})=\frac{1}{\sqrt{2\pi \sigma^2(t)}}\text{exp}\left(-\frac{(r_t-\phi r_{t-1})^2}{2\sigma^2(t)}\right)$

3. Pertanyaan

Apakah derivasi saya baik-baik saja? Saya tidak punya sumber daya untuk membandingkan selain simulasi (yang tampaknya setuju), dan saya bukan ahli statistik!
Apakah ada derivasi hal-hal semacam ini dalam literatur untuk proses atau proses ? $MA(1)$ $ARMA(1,1)$ Sebuah studi untuk proses secara umum yang dapat dikhususkan untuk kasus ini akan menyenangkan. $ARMA(p,q)$

— Néstor
sumber

Saya sebenarnya tidak punya solusi untuk Anda. Tapi, saya pikir ini adalah semacam masalah variabel error-in. Saya telah melihat hal ini dalam Teori Makroekonomi oleh Thomas Sergent (buku 1980-an). Anda mungkin ingin melihatnya.

— Metrik

Terima kasih atas masukannya, @ Metrik. Saya akan memeriksa buku itu!

— Néstor

Jawaban:

Anda berada di jalur yang benar, tetapi Anda telah membuat kesalahan dalam menurunkan distribusi diberikan : mean kondisional bukan . Ini , di mana adalah estimasi terbaik Anda dari dari periode sebelumnya. Nilai termasuk informasi dari pengamatan sebelumnya serta . (Untuk melihat ini, pertimbangkan situasi di mana dan dapat diabaikan, sehingga Anda secara efektif memperkirakan mean tetap. Setelah banyak pengamatan, ketidakpastian Anda tentang akan jauh lebih kecil daripada $R_t$ $R_{t-1}$ $\phi r_{t-1}$ $\phi \widehat{x}_{t-1}$ $\widehat{x}_{t-1}$ $X$ $\widehat{x}_{t-1}$ $r_{t-1}$ $\sigma_w$ $\phi$ $X$ $\sigma_{\eta}$ .) ini dapat membingungkan pada awalnya, karena Anda mengamati dan tidak . Itu hanya berarti bahwa Anda berurusan dengan model ruang-negara . $R$ $X$
Ya, ada kerangka kerja yang sangat umum untuk menggunakan model linear-Gaussian dengan pengamatan bising, disebut filter Kalman . Ini berlaku untuk apa pun dengan struktur ARIMA dan banyak lagi model juga. bervariasi waktu adalah OK untuk filter Kalman, asalkan itu tidak stokastik. Model dengan, misalnya, volatilitas stokastik memerlukan metode yang lebih umum. Untuk melihat bagaimana filter Kalman diturunkan, coba Durbin-Koopman atau bab 3 Harvey . Dalam notasi Harvey, model Anda memiliki , , , , dan . $\sigma_{\eta}$ $Z=1$ $d=c=0$ $H_t = \sigma_{\eta,t}^2$ $T=\phi$ $R=1$ $Q=\sigma^2_w$

— Jamie Hall
sumber

Hai Jamie, terima kasih atas masukan Anda. Beberapa komentar: 1. Saya tidak yakin tentang itu. Sebenarnya, itu adalah upaya pertama saya sebagai solusi tetapi intuisi dan simulasi saya tidak setuju dengan itu. Masalahnya adalah saya sebenarnya tidak mengamati , saya amati ; ditambah, dapatkah Anda membuktikan (secara hitung) bahwa mean bersyarat dari variabel acak (perhatikan bahwa itu bukan ) sebenarnya ? 2. Bisakah Anda menguraikan aplikasi filter Kalman untuk masalah khusus ini?

X_{t}

$X_t$

R_{t}

$R_{t}$

R_{t} | R_{t - 1} = r_{t - 1}

$R_{t}|R_{t-1}=r_{t-1}$

R_{t} | X_{t - 1} = x_{t - 1}

$R_{t}|X_{t-1}=x_{t-1}$

ϕ {\hat{x}}_{t - 1}

$\phi \hat{x}_{t-1}$

— Néstor

Hai Nestor, saya sudah mengedit jawaban untuk menanggapi komentar Anda. Semoga itu bisa membantu.

— Jamie Hall

Hai Jamie: tentang poin kedua, tidak apa-apa, terima kasih :-)! Namun, saya masih tidak dapat melihat poin pertama Anda. Bisakah Anda mengarahkan saya ke derivasi formal? Secara khusus, saya ingin tahu bagian mana dari alasan saya yang salah (dan mengapa)!

— Néstor

Anda melewatkan langkah: distribusi diberikan . Ini , di mana adalah varians yang Anda hitung di langkah pertama, dan adalah dua kali rata-rata harmonik dari dan . (Ini seperti pembaruan Bayesian dengan dua pdf Gaussian.) Persamaan Anda (3) secara resmi benar, tetapi Anda membuang informasi dengan menggunakan itu alih-alih .

X_{1}

$X_1$

R_{1}

$R_1$

N (\frac{σ_{x, 1}^{2}}{(σ_{x, 1}^{2} + σ_{η, 1}^{2})} r_{1}, σ_{x, 2}^{2})

$N(\frac{\sigma^2_{x,1}}{(\sigma^2_{x,1}+\sigma^2_{\eta,1})} r_1, \sigma^2_{x,2})$

σ_{x, 1}^{2}

$\sigma_{x,1}^2$

σ_{x, 2}^{2}

$\sigma_{x,2}^2$

σ_{x, 1}^{2}

$\sigma_{x,1}^2$

σ_{η, 1}^{2}

$\sigma_{\eta,1}^2$

p (X_{t - 1} | R_{1 : t - 1})

$p(X_{t-1} | R_{1:t-1})$

— Jamie Hall

-1

Jujur, Anda harus kode ini dalam BUG atau STAN dan tidak khawatir tentang hal itu dari sana. Kecuali jika ini adalah pertanyaan teoretis.

— DavidShor
sumber

(-1) Untuk tanggapan ini; ini jelas pertanyaan teoretis ;-). Pertimbangkan untuk meningkatkan mengapa Anda pikir saya harus menulis kode dalam BUG atau STAN dan apa hubungannya dengan pertanyaan awal?

— Néstor