Mengapa kita berurusan dengan vektor eigen dari autokorelasi bukan data itu sendiri?

Bagaimana secara intuitif untuk memahami mengapa vektor eigen dari matriks autokorelasi digunakan, tetapi vektor eigen dari matriks yang dibangun dari sampel temporal tidak masuk akal dan tidak digunakan? Misalnya, dalam mendeteksi sinyal harmonis dalam noise tambahan.

Beberapa alasan "level usus" mengapa lebih baik bekerja dengan matriks autokorelasi daripada matriks dengan pengamatan Anda:

• Jika Anda ingin memperhitungkan semua pengamatan Anda dan Anda memiliki banyak data, Anda akhirnya akan memanipulasi (membalikkan, mengalikan) matriks yang cukup besar. Jika Anda bekerja dengan matriks autokorelasi, Anda "meringkas" data Anda sekali (dalam langkah yang cukup efisien hanya membutuhkan FFT dan FFT terbalik), dan sejak saat itu, Anda hanya memanipulasi matriks autokorelasi ukuran Anda.$P \times P$ dimana $P$ adalah pesanan model Anda (misalnya untuk pemodelan AR atau pemodelan sinusoidal).
• Dengan beberapa data itu hanya tidak berfungsi secara numerik untuk menggunakan pengamatan mentah karena Anda menghadapi situasi di mana Anda harus berurusan dengan matriks yang tidak dijamin pasti-positif.

Sebagai contoh, mari kita pertimbangkan dua pendekatan untuk pemasangan model AR.

Penggunaan langsung dari matriks data

Kesalahan rekonstruksi kuadratik empiris pada data Anda adalah:

$$\epsilon = \mathbf{x}^T\mathbf{x} + \mathbf{x}^T\Gamma \mathbf{a} + \mathbf{a}^T\Gamma^T\mathbf{x} + \mathbf{a}^T\Gamma^T \Gamma \mathbf{a}$$

dimana $\mathbf{a}$ adalah vektor koefisien AR, $\mathbf{x}$ adalah vektor pengamatan Anda, dan $\Gamma$matriks dengan pengamatan tertunda Anda. Anda perlu menemukan nilai$\mathbf{a}$yang meminimalkan ini. Setelah derivasi dan sedikit pengocokan, solusi Anda terlihat seperti ini:

$$\mathbf{a} = - (\Gamma^T \Gamma)^{-1} \Gamma^T \mathbf{x}$$

Dan Anda kacau karena Anda sama sekali tidak menjamin itu $\Gamma^T \Gamma$bisa dibalik. Dalam prosesnya, secara numerik, Anda harus berurusan dengan produk matriks yang cukup besar jika Anda memiliki urutan pengamatan yang panjang.

Tampilan proses acak

jika Anda mengadaptasi sudut "proses acak" dengan masalah, jumlah yang harus Anda kurangi (nilai kesalahan yang diharapkan) adalah:

$$\epsilon = r_x(0) + 2 \mathbf{r} \mathbf{a} + \mathbf{a}^T \mathbf{R} \mathbf{a}$$

Dan Anda berakhir dengan solusi yang lebih enak:

$$\mathbf{a} = - \mathbf{R}^{-1} \mathbf{r}$$

Dengan jaminan kuat bahwa ini akan dapat dihitung karena $\mathbf{R}$ pasti positif!

Sepertinya masalah Anda adalah pemodelan sinusoidal (bukan pemodelan AR). Ada banyak lambaian tangan di sini, tapi apa yang saya katakan tentang pemodelan AR dan rintangan menggunakan matriks data mentah; juga berlaku untuk pemodelan sinusoidal - dengan dekomposisi nilai eigen menjadi operasi bermasalah bukannya inversi matriks.

Pertama, vektor eigen dan nilai eigen ditentukan untuk operator. Korelasi adalah operasi.

Kedua, vektor eigen dari autokorelasi sangat menarik karena mereka paling efisien menjelaskan varians sinyal dalam regresi linier. Dengan kata lain, untuk jumlah vektor tetap, pemilihan vektor eigen meminimalkan kesalahan kuadrat rata-rata di mana sinyal dimodelkan sebagai jumlah linier vektor. Teknik ini disebut sebagai analisis komponen utama .

Jika Anda dapat memperluas gagasan Anda tentang sinyal "harmonis", mungkin saya bisa berkomentar lebih lanjut.