Apakah model MA non-invertible menyiratkan bahwa efek pengamatan masa lalu meningkat dengan jarak?

Pembaruan (2019-06-25): mengubah judul dari "Apakah model MA yang tidak dapat dibalik masuk akal?" untuk membedakannya dari Pertanyaan 333802 .

Saat mengulas MA ( $q$ ) model, saya menemukan slide ini (Alonso dan Garcia-Martos, 2012). Penulis menyatakan bahwa, meskipun semua proses MA stasioner, jika mereka tidak dapat dibalik, Anda memilikinya

" Situasi paradoks di mana efek pengamatan masa lalu meningkat seiring dengan jarak. "

Ini dapat dilihat dalam dekomposisi proses MA (1):

y_{t} = ϵ_{t} - θ ϵ_{t - 1}

$y_t = \epsilon_t - \theta \epsilon_{t-1}$ ke

y_{t} = ϵ_{t} - \sum_{i = 1}^{t - 1} θ^{i} y_{t - i} - θ^{t} ϵ_{0},

$y_t = \epsilon_t -\sum_{i=1}^{t-1} \theta ^i y_{t-i} - \theta^t \epsilon_0,$ dimana jelas

| θ | > 1

$|\theta|>1$ diterjemahkan ke dalam sejarah yang memiliki semakin banyak pengaruh atas masa kini. Dua hal tentang ini mengganggu saya:

Tidak sulit membayangkan situasi di mana ada jeda waktu satu kali dalam efek sesuatu
Posting Validasi Silang ini memiliki jawaban yang mengklaim:

" Invertibilitas bukanlah masalah besar karena hampir semua model MA (q) Gaussian, non-invertible dapat diubah menjadi model MA (q) yang dapat dibalik yang mewakili proses yang sama "

Benarkah efek pengamatan di masa lalu meningkat seiring dengan jarak? Jika demikian, apakah itu membuat model tidak cocok untuk menggambarkan fenomena dunia nyata?

Pembaruan (2019-11-09) Menemukan ini dalam teks Analisis Rangkaian Waktu dan Aplikasinya (Shumway dan Stoffer, halaman 85) yang juga mendukung kasus bahwa tidak masalah jika model MA dalam non-invertible, tetapi kami mungkin ingin memilih versi model yang tidak dapat dibalik untuk kenyamanan.

time-series moving-average

— Ben Ogorek
sumber

Saya pikir perbedaan antara

| θ | = 1

$|\theta|=1$ dan

| θ | > 1

$|\theta|>1$ mungkin penting. Teks Anda tampaknya berfokus pada kasus yang terakhir, tetapi terminologi (tidak dapat dibalik ) tidak membantu membedakan keduanya. Jika

| θ | = 1

$|\theta|=1$ adalah masalah besar (bukan?) sementara

| θ | > 1

$|\theta|>1$ bukan, pertanyaannya sulit dijawab bila hanya didasarkan pada istilah noninvertible . Mungkin Anda bisa mengedit posting untuk menyorot ini?

— Richard Hardy

@whuber, saya akan menghargai tampilan lain sejak saya mengubah judul. Saya berharap bahwa dengan memfokuskan pada properti pengaruh poin data historis, saya telah mengukir ruang baru.

— Ben Ogorek

Jawaban:

Bukan masalah besar - sangat diam dan mendekati white noise

Yang tidak bisa dibalik $\text{MA}(1)$ proses masuk akal, dan itu tidak menunjukkan perilaku yang aneh. Mengambil versi proses Gaussian, untuk vektor apa pun $\mathbf{y} = (y_1,...,y_n)$ terdiri dari pengamatan berurutan, kami miliki $\mathbf{y} \sim \text{N}(\mathbf{0}, \mathbf{\Sigma})$ dengan kovarians:

Σ \equiv \frac{σ^{2}}{1 + θ^{2}} [\begin{matrix} 1 + θ^{2} & - θ & 0 & \dots & 0 & 0 & 0 \\ - θ & 1 + θ^{2} & - θ & \dots & 0 & 0 & 0 \\ 0 & - θ & 1 + θ^{2} & \dots & 0 & 0 & 0 \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ & ⋮ & ⋮ \\ 0 & 0 & 0 & \dots & 1 + θ^{2} & - θ & 0 \\ 0 & 0 & 0 & \dots & - θ & 1 + θ^{2} & - θ \\ 0 & 0 & 0 & \dots & 0 & - θ & 1 + θ^{2} \end{matrix}] .

$\mathbf{\Sigma} \equiv \frac{\sigma^2}{1+\theta^2} \begin{bmatrix} 1+\theta^2 & -\theta & 0 & \cdots & 0 & 0 & 0 \\ -\theta & 1+\theta^2 & -\theta & \cdots & 0 & 0 & 0 \\ 0 & - \theta & 1+\theta^2 & \cdots & 0 & 0 & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots & \vdots & \vdots \\ 0 & 0 & 0 & \cdots & 1+\theta^2 & -\theta & 0 \\ 0 & 0 & 0 & \cdots & -\theta & 1+\theta^2 & -\theta \\ 0 & 0 & 0 & \cdots & 0 & -\theta & 1+\theta^2 \\ \end{bmatrix}.$

Seperti yang Anda lihat, ini adalah proses yang sangat diam, dan pengamatan yang terpisah lebih dari satu lag adalah independen, bahkan ketika $|\theta|>1$ . Ini tidak mengejutkan, mengingat fakta bahwa pengamatan tersebut tidak memiliki pengaruh apa pun dari proses white noise yang mendasarinya. Tampaknya tidak ada perilaku apa pun di mana "pengamatan masa lalu meningkat seiring dengan jarak", dan persamaan yang Anda nyatakan tidak menunjukkan hal ini (lihat di bawah untuk diskusi lebih lanjut).

Bahkan, seperti $|\theta| \rightarrow \infty$ (yang merupakan kasus paling ekstrim dari fenomena yang Anda pertimbangkan) model ini berkurang secara asimptotik menjadi proses white noise sepele. Ini benar-benar tidak mengejutkan, mengingat fakta bahwa koefisien besar pada istilah kesalahan pertama-tertinggal mendominasi koefisien satuan pada jangka waktu kesalahan bersamaan, dan menggeser model secara asimptotik menuju bentuk $y_t \rightarrow \theta \epsilon_{t-1}$ , yang hanya versi skala dan bergeser dari proses white noise yang mendasarinya.

Catatan tentang persamaan Anda: Dalam persamaan dalam pertanyaan Anda, Anda menulis nilai saat ini dari deret waktu yang dapat diamati sebagai jumlah geometris yang meningkat dari nilai masa lalu, ditambah istilah kesalahan sisa. Ini ditegaskan untuk menunjukkan bahwa "efek pengamatan masa lalu meningkat seiring dengan jarak". Namun, persamaannya melibatkan sejumlah besar syarat pembatalan. Untuk melihat ini, mari perluas istilah-istilah yang dapat diamati sebelumnya untuk menunjukkan pembatalan persyaratan:

\begin{aligned} y_{t} & = ϵ_{t} - \sum_{i = 1}^{t - 1} θ^{i} y_{t - i} - θ^{t} ϵ_{0} \\ = ϵ_{t} - \sum_{i = 1}^{t - 1} θ^{i} (ϵ_{t - i} - θ ϵ_{t - i - 1}) - θ^{t} ϵ_{0} \\ = ϵ_{t} - (θ ϵ_{t - 1} - θ^{2} ϵ_{t - 2}) \\ - (θ^{2} ϵ_{t - 2} - θ^{3} ϵ_{t - 3}) \\ - (θ^{3} ϵ_{t - 3} - θ^{4} ϵ_{t - 4}) \\ - \dots \\ - (θ^{t - 1} ϵ_{1} - θ^{t} ϵ_{0}) . \end{aligned}

$\begin{equation} \begin{aligned} y_t &= \epsilon_t - \sum_{i=1}^{t-1} \theta^i y_{t-i} - \theta^t \epsilon_0 \\[6pt] &= \epsilon_t - \sum_{i=1}^{t-1} \theta^i (\epsilon_{t-i} - \theta \epsilon_{t-i-1}) - \theta^t \epsilon_0 \\[6pt] &= \epsilon_t - ( \theta \epsilon_{t-1} - \theta^2 \epsilon_{t-2} ) \\[6pt] &\quad \quad \quad \quad \quad \ \ \ - ( \theta^2 \epsilon_{t-2} - \theta^3 \epsilon_{t-3} ) \\[6pt] &\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad - ( \theta^3 \epsilon_{t-3} - \theta^4 \epsilon_{t-4} ) \\[6pt] &\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \ \ \ - \ \cdots \\[6pt] &\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \ \ \ - ( \theta^{t-1} \epsilon_1 - \theta^t \epsilon_0 ). \\[6pt] \end{aligned} \end{equation}$

We can see from this expansion that the geometrically increasing sum of past values of the observable time series is there solely to get the previous error term:

ϵ_{t - 1} = \sum_{i = 1}^{t - 1} θ^{i - 1} y_{t - i} + θ^{t - 1} ϵ_{0} .

$\epsilon_{t-1} = \sum_{i=1}^{t-1} \theta^{i-1} y_{t-i} + \theta^{t-1} \epsilon_0.$

All that is happening here is that you are trying to express the previous error term in an awkward way. The fact that a long cancelling sum of geometrically weighted values of the series is equal to the desired error term does not demonstrate that past observations are having "an effect" on the present time-series value. It merely means that if you want to express $\epsilon_{t-1}$ in terms of $\epsilon_0$ then the only way you can do it is to add in the geometrically weighted sum of the observable series.

— Ben - Reinstate Monica
sumber

Hi Ben: I agree with what you did but the reason for the non-inveribility is that, if you re-write as an AR(1), the model response depends more on the data that's further away from the response compared to data that's closer. This is not intuitive for an AR(1). But, in general, from a practical perspective, I agree about MA non-invertibility not being important. thanks.

— mlofton

Ben, if you could explain why the second equation in the original post does not mean what I think it does (that the influence of past observations on the moving average increases over time), then I'd be satisfied with the answer. Everything else you're saying makes sense.

— Ben Ogorek

@Ben Ogorek: I have added an additional section addressing this equation.

— Ben - Reinstate Monica

Does your answer apply equally to the cases of

| θ | = 1

$|\theta|=1$ and

| θ | > 1

$|\theta|>1$ ? I am thinking of overdifferencing which yields

θ = - 1

$\theta=-1$ . If I remember correctly, it is considered a rather serious problem (though I cannot recall the exact argument).

— Richard Hardy

Alright, Ben, I'm convinced. I still don't feel 100% great about the previous error term explanation, but I realized you must be right after trying some simple simulations and not seeing anything strange in the dependence structure. By the way, the bounty disappeared into thin air, I think when the question got closed for duplicate status, so I skimmed some of your old answers and made up for it there.

— Ben Ogorek

I don't think it makes sense to ask for an example "from the real world where they [non-invertible MA models] occur". All you observe is $y_1,y_2,\dots,y_n$ . As I try to explain in the post you link to, the joint distribution of these data can almost always (except in the case were the MA polynomial has one or more unit roots) be identically modelled as generated by either a number of non-invertible MA models or by a corresponding invertible MA model. Based on the data alone, there is therefore no way of knowing if the "real world" underlying mechanism corresponds to that of a non-invertible or invertible model. And ARIMA models are anyhow not intended as mechanistic models of the data-generating process in the first place.

So this just boils down to restricting the parameter space to that of invertible models to make the model identifiable with the added benefit of having a model that is easily put into AR $(\infty)$ form.

— Jarle Tufto
sumber

I see what you're saying in that these are not structural models; they do not attempt to explain the world in any explicit way. The phrase "makes sense" is also not very precise. Perhaps I could rephrase as: "do non-invertible MA processes exist (in the mathematical sense)?" and "if so, does the data generating process resemble anything found in nature?" What I'm worried about is there's a artificial property, something akin to getting younger as you age, encapsulated by the second equation above.

— Ben Ogorek

@BenOgorek I think any process in nature that mechanistically involve a moving average could easily correspond to a non-invertible model. A toy example is

y_{t} = ϵ_{t} + 3 ϵ_{t - 1} + ϵ_{t - 2}

$y_t=\epsilon_t+3\epsilon_{t-1}+\epsilon_{t-2}$ which has roots Mod(polyroot(c(1,3,1))).

— Jarle Tufto

Hi Ben: The concept of inverting ( that I'm familiar with ) is to see whether the MA can be written as an equivalent AR(

\infty

$\infty$ ). In the equation that the OP wrote, if the

y_{t - i}

$y_{t-i}$ are kept and not converted to epsilons, then the equation shows that, for

a b s (θ) >= 1

$abs(\theta) >= 1$ , the

y_{t - i}

$y_{t-i}$ further in the past have a greater effect on the current response

y_{t}

$y_{t}$ , than the closer

y_{t - i}

$y_{t-i}$ . In books I have read, they normally say that this type of equation has no meaning and it is basically disregarded.

— mlofton

Ben: Note that I am not claiming that there's anything wrong with an MA(1) with

a b s (θ) > 1.0

$abs(\theta) > 1.0$ . In practice, as long as one is not interested in the AR equivalent, then the model should not be problematic. It's more of a theory issue, I think.

— mlofton