Properti PCA untuk pengamatan dependen

Kami biasanya menggunakan PCA sebagai teknik reduksi dimensi untuk data di mana kasus dianggap iid

Pertanyaan: Apa nuansa khas dalam menerapkan PCA untuk data dependen dan non-iid? Apa sifat bagus / berguna PCA yang berlaku untuk data iid dikompromikan (atau hilang seluruhnya)?

Sebagai contoh, data dapat berupa deret waktu multivariat di mana autokorelasi atau autoregresif kondisional heteroskedastisitas (ARCH) dapat diharapkan.

Beberapa pertanyaan terkait tentang penerapan PCA ke data deret waktu telah diajukan sebelumnya, misalnya 1 , 2 , 3 , 4 , tetapi saya mencari jawaban yang lebih umum dan komprehensif (tanpa perlu memperluas banyak pada setiap titik individual).

Sunting: Seperti dicatat oleh @ttnphns, PCA sendiri bukan merupakan analisis inferensial. Namun, orang dapat tertarik pada kinerja generalisasi PCA, yaitu berfokus pada populasi pendamping sampel PCA. Misalnya seperti yang ditulis dalam Nadler (2008) :

Dengan asumsi data yang diberikan adalah sampel terbatas dan acak dari distribusi (umumnya tidak diketahui), pertanyaan teoretis dan praktis yang menarik adalah hubungan antara sampel hasil PCA dihitung dari data hingga dan orang-orang dari model populasi yang mendasari.

Referensi:

Nadler, Boaz. "Hasil pendekatan sampel hingga untuk analisis komponen utama: Pendekatan perturbasi matriks." The Annals of Statistics (2008): 2791-2817.

— Richard Hardy
sumber

Hanya untuk dicatat. PCA sendiri bukan analisis inferensial. Ini adalah transformasi dataset angka multivariat; intinya hanya svd atau komposisi eigend. Oleh karena itu pengamatan tidak membuat asumsi independensi. Asumsi muncul ketika kita menggunakan PCA sebagai alat statistik untuk menganalisis sampel dari populasi. Tapi itu bukan asumsi PCA. Sebagai contoh, pengujian untuk kebulatan untuk memutuskan apakah PCA dibenarkan untuk mengurangi data memang memerlukan independensi, dan tes tersebut mungkin terlihat seolah-olah tes asumsi "dalam-PCA", tetapi sebenarnya itu adalah tes "luar".

— ttnphns

@ttnphns, poin yang sangat bagus, terima kasih. Jika Anda melihat cara yang rapi untuk mengedit posting saya, jangan ragu untuk. Saya akan memikirkannya sendiri juga.

— Richard Hardy

Richard, pertanyaan Anda baik dan penting (+1). Mungkin saja saya lebih suka mengatakannya sedikit dengan cara seperti "Kami biasanya menggunakan PCA sebagai pengurangan dimensionalitas untuk data di mana kasus diasumsikan ... Apa nuansa khas dalam menerapkan PCA untuk data deret waktu di mana kasing (waktu) poin) apakah lag saling tergantung ...? "

— ttnphns

@amoeba, benar. Tetapi kami hampir tidak pernah berhenti hanya untuk mendapatkan pemuatan PC. Dalam langkah-langkah yang lazim mengikuti PCA, apa yang harus kita waspadai di bawah non-idid? Saya berharap jawaban bisa lebih baik daripada pertanyaan (dalam formulasi saat ini). Jika Anda melihatnya secara longgar / kreatif, mungkin Anda bisa mendapatkan beberapa poin bagus.

— Richard Hardy

PCA biasa hanya menghormati asosiasi "horisontal" (mis. Antara kolom) dan mengabaikan "vertikal" (antara kasus): matriks kovarians kolom adalah sama jika Anda mengacak urutan kasus. Apakah ini dapat disebut "tidak ada asumsi untuk hubungan seri kasus" atau "asumsi untuk kasus independen dibuat" adalah masalah selera. Asumsi iid adalah standar dalam analisis data, sehingga metode yang tidak memberi perhatian khusus pada urutan kasus, seperti PCA, dapat dianggap sebagai "dukungan diam" untuk asumsi iid.

— ttnphns

Agaknya, Anda dapat menambahkan komponen waktu sebagai fitur tambahan ke poin sampel Anda, dan sekarang semuanya benar? Pada dasarnya, titik data asli tergantung pada waktu:

p (x_{i} ∣ t_{i}) \neq p (x_{i})

$p(\mathbf{x}_i \mid t_i) \ne p(\mathbf{x}_i)$

$\mathbf{x}_i' = \{\mathbf{x}_i, t_i\}$

p (x_{i}^{'} ∣ t_{i}) = p (x_{i}^{'})

$p(\mathbf{x}'_i \mid t_i) = p(\mathbf{x}'_i)$

... dan sampel data sekarang saling independen.

Dalam praktiknya, dengan memasukkan waktu sebagai fitur di setiap titik data, PCA dapat memiliki akibat bahwa satu komponen hanya menunjuk sepanjang sumbu fitur waktu. Tetapi jika ada fitur yang berkorelasi dengan fitur waktu, komponen mungkin terdiri dari satu atau lebih fitur ini, serta fitur waktu.

— Hugh Perkins
sumber

Terima kasih atas jawabannya. Itu akan menjadi kasus yang sangat istimewa di mana waktu masuk secara linear. Fenomena yang lebih luas, misalnya, autokorelasi di mana waktu itu sendiri tidak berperan sebagai fitur.

— Richard Hardy

x_{t}

$x_t$

θ

$\theta$

x_{t - 1}

$x_{t-1}$

x_{t}

$x_t$

x_{t - 1}

$x_{t-1}$

θ

$\theta$

x_{t - 1}

$x_{t-1}$

x_{t - 1}

$x_{t-1}$