Autokorelasi dari proses independen AR (1)

Membiarkan $\left\{X_t\right\}$ menjadi proses stokastik yang dibentuk dengan menggabungkan iid draw dari proses AR (1), di mana setiap draw adalah vektor dengan panjang 10. Dengan kata lain, $\left\{X_1, X_2, \ldots, X_{10}\right\}$ adalah realisasi dari proses AR (1); $\left\{X_{11}, X_{12}, \ldots, X_{20}\right\}$diambil dari proses yang sama, tetapi independen dari 10 pengamatan pertama; dan lain-lain.

Apa yang akan ACF dari $X$ - sebut saja $\rho\left(l\right)$-- terlihat seperti? Saya mengharapkan$\rho\left(l\right)$ menjadi nol untuk kelambatan panjang $l \geq 10$ karena, dengan asumsi, setiap blok pengamatan 10 independen dari semua blok lainnya.

Namun, ketika saya mensimulasikan data, saya mendapatkan ini:

simulate_ar1 <- function(n, burn_in=NA) {
    return(as.vector(arima.sim(list(ar=0.9), n, n.start=burn_in)))
}

simulate_sequence_of_independent_ar1 <- function(k, n, burn_in=NA) {
    return(c(replicate(k, simulate_ar1(n, burn_in), simplify=FALSE), recursive=TRUE))
}

set.seed(987)
x <- simulate_sequence_of_independent_ar1(1000, 10)
png("concatenated_ar1.png")
acf(x, lag.max=100)  # Significant autocorrelations beyond lag 10 -- why?
dev.off()

Mengapa ada autokorelasi sejauh ini dari nol setelah lag 10?

Dugaan awal saya adalah bahwa burn-in di arima.sim terlalu pendek, tapi saya mendapatkan pola yang sama ketika saya secara eksplisit mengatur misal burn_in = 500.

Apa yang saya lewatkan?

Sunting : Mungkin fokus pada menggabungkan AR (1) s adalah pengalih perhatian - contoh yang lebih sederhana adalah ini:

set.seed(9123)
n_obs <- 10000
x <- arima.sim(model=list(ar=0.9), n_obs, n.start=500)
png("ar1.png")
acf(x, lag.max=100)
dev.off()

Saya terkejut dengan blok besar autokorelasi signifikan bukan pada kelambatan yang panjang (di mana ACF benar $\rho(l) = 0.9^l$pada dasarnya nol). Haruskah aku

Sunting lain : mungkin semua yang terjadi di sini adalah itu$\hat{\rho}$, perkiraan ACF, itu sendiri sangat berkorelasi. Sebagai contoh, inilah distribusi gabungan dari$\left(\hat{\rho}(60), \hat{\rho}(61)\right)$, yang nilainya sebenarnya pada dasarnya nol ($0.9^{60} \approx 0$):

## Look at joint sampling distribution of (acf(60), acf(61)) estimated from AR(1)
get_estimated_acf <- function(lags, n_obs=10000) {
    stopifnot(all(lags >= 1) && all(lags <= 100))
    x <- arima.sim(model=list(ar=0.9), n_obs, n.start=500)
    return(acf(x, lag.max=100, plot=FALSE)$acf[lags + 1])
}
lags <- c(60, 61)
acf_replications <- t(replicate(1000, get_estimated_acf(lags)))
colnames(acf_replications) <- sprintf("acf_%s", lags)
colMeans(acf_replications)  # Essentially zero
plot(acf_replications)
abline(h=0, v=0, lty=2)

Ringkasan eksekutif: Tampaknya Anda salah mengira kebisingan untuk autokorelasi sejati karena ukuran sampel yang kecil.

Anda cukup mengkonfirmasi ini dengan meningkatkan kparameter dalam kode Anda. Lihat contoh-contoh di bawah ini (Saya telah menggunakan yang sama set.seed(987)untuk mempertahankan replikasi):

k = 1000 (kode asli Anda)

k = 2000

k = 5000

k = 10000

k = 50000

Urutan gambar ini memberi tahu kita dua hal:

• Autokorelasi setelah 10 pengamatan pertama sangat berkurang karena jumlah iterasi meningkat. Memang, dengan jumlah iterasi yang cukup besar$\hat\rho(l)$ untuk apa saja $l>10$akan menyatu ke nol. Ini adalah dasar dari pernyataan saya di awal - bahwa autokorelasi yang Anda amati hanyalah noise.
• Namun demikian pengamatan tersebut di atas $\hat\rho(l)$ konvergen ke nol untuk semua $l>10$ dengan meningkatnya jumlah simulasi, $\hat\rho(l)$ untuk apa saja $l \le 10$ sebenarnya tetap konstan pada $\hat\rho(l)=\rho(l)=0.9^l$, sama seperti konstruksi model Anda akan menyarankan.

Perhatikan bahwa saya merujuk pada autokorelasi yang diamati sebagai$\hat\rho(l)$dan dengan autokorelasi yang sebenarnya sebagai$\rho(l)$.