Analisis komponen utama fungsional (FPCA): tentang apa semua ini?


21

Analisis komponen utama fungsional (FPCA) adalah sesuatu yang saya temui dan tidak pernah mengerti. Tentang apa semua ini?

Lihat "Sebuah survei analisis komponen utama fungsional" oleh Shang, 2011 , dan saya mengutip:

PCA mengalami kesulitan serius dalam menganalisis data fungsional karena "kutukan dimensi" (Bellman 1961). "Kutukan dimensi" berasal dari sparsitas data dalam ruang dimensi tinggi. Bahkan jika sifat geometrik PCA tetap valid, dan bahkan jika teknik numerik memberikan hasil yang stabil, matriks kovarian sampel kadang-kadang merupakan estimasi yang buruk dari matriks kovarians populasi. Untuk mengatasi kesulitan ini, FPCA menyediakan cara yang jauh lebih informatif untuk memeriksa struktur kovarians sampel daripada PCA [...]

Saya tidak mengerti. Apa kekurangan dari makalah ini? Bukankah PCA seharusnya menjadi metode terbaik untuk menangani situasi seperti "kutukan dimensi"?

Jawaban:


7

Tepat, seperti yang Anda nyatakan dalam pertanyaan dan seperti yang dimasukkan oleh @tdc dalam jawabannya, dalam kasus dimensi yang sangat tinggi bahkan jika properti geometris PCA tetap valid, matriks kovarians tidak lagi merupakan perkiraan yang baik dari kovarians populasi nyata.


Ada makalah yang sangat menarik "Analisis Komponen Utama Fungsional dari Data fMRI" ( pdf ) di mana mereka menggunakan PCA fungsional untuk memvisualisasikan varians:

... Seperti dalam teknik eksplorasi lainnya, tujuannya adalah memberikan penilaian awal yang akan memberikan data kesempatan "untuk berbicara sendiri" sebelum model yang sesuai dipilih. [...]

Dalam makalah mereka menjelaskan bagaimana tepatnya mereka melakukannya, dan juga memberikan alasan teoretis:

Keuntungan yang menentukan dari pendekatan ini terdiri dari kemungkinan menentukan seperangkat asumsi dalam pemilihan set fungsi dasar dan dalam kesalahan fungsional diminimalkan oleh fit. Asumsi-asumsi ini akan lebih lemah daripada spesifikasi fungsi hemodinamik yang telah ditentukan dan serangkaian peristiwa atau kondisi seperti dalam F-masking, sehingga menjaga karakter eksplorasi dari prosedur; Namun, asumsi tersebut mungkin tetap cukup ketat untuk mengatasi kesulitan PCA biasa.


n×tntntkkt
amoeba berkata Reinstate Monica

Setelah membaca sedikit lebih banyak tentang itu, saya memutuskan untuk mengirim jawaban saya sendiri. Mungkin Anda akan tertarik. Saya pasti akan menghargai wawasan tambahan apa pun.
Amoeba berkata Reinstate Monica

24

Saya menemukan "PCA fungsional" gagasan membingungkan yang tidak perlu. Ini bukan hal yang terpisah sama sekali, ini adalah PCA standar yang diterapkan pada deret waktu.

ntn×ttn201000t

Seseorang pasti dapat menerapkan PCA standar di sini. Rupanya, dalam kutipan Anda, penulis khawatir bahwa eigen-time-series yang dihasilkan akan terlalu berisik. Ini memang bisa terjadi! Dua cara yang jelas untuk mengatasinya adalah (a) untuk memperlancar eigen-time-series yang dihasilkan setelah PCA, atau (b) untuk memuluskan seri waktu asli sebelum melakukan PCA.

ktk

Tutorial tentang FPCA biasanya membahas panjang lebar tentang bagaimana cara menggeneralisasi PCA ke ruang fungsional berdimensi tak terbatas, tetapi relevansi praktisnya benar-benar di luar jangkauan saya , karena dalam praktiknya, data fungsional selalu didiskritkan untuk memulainya.

Berikut adalah sebuah ilustrasi yang diambil dari Ramsay dan Silverman "Analisis Data Fungsional" buku teks, yang tampaknya menjadi yang monografi definitif tentang "analisis data fungsional" termasuk FPCA:

Ramsay dan Silverman, FPCA

Orang dapat melihat bahwa melakukan PCA pada "data yang didiskritisasi" (poin) menghasilkan secara praktis hal yang sama seperti melakukan FPCA pada fungsi terkait dalam basis Fourier (garis). Tentu saja orang pertama dapat melakukan PCA diskrit dan kemudian memasukkan fungsi dalam basis Fourier yang sama; itu akan menghasilkan hasil yang kurang lebih sama.

t=12n>t


2
Dalam kasus lintasan sampel yang jarang tidak teratur (misalnya, data longitudinal) FPCA jauh lebih terlibat daripada " interpolasi dan kemudian menghaluskan eigen-time-series yang dihasilkan ". Misalnya bahkan jika seseorang mendapatkan komponen eigencomponen yang menghitung skor proyeksi data jarang tidak terdefinisi dengan baik; lihat misalnya: Yao et al. JASA 2005. Diberikan untuk proses sampel padat FPCA secara efektif PCA dengan beberapa hukuman kelancaran di atas.
usεr11852 mengatakan Reinstate Monic

Terima kasih, @ usεr11852 (+1). Saya perlu mencari waktu untuk melihatnya lagi. Saya akan mencoba mencari makalah yang Anda referensikan dan kembali ke jawaban ini.
Amoeba berkata Reinstate Monica

@amoeba, ini semua terdengar hampir terkait dengan transformasi fourier diskrit, di mana Anda memulihkan gelombang komponen dari gelombang kompleks / time-series?
Russell Richie

9

Saya bekerja selama beberapa tahun dengan Jim Ramsay di FDA, jadi saya mungkin dapat menambahkan beberapa klarifikasi ke jawaban @ amoeba. Saya pikir pada level praktis, @amoeba pada dasarnya benar. Setidaknya, itulah kesimpulan yang akhirnya saya raih setelah mempelajari FDA. Namun, kerangka kerja FDA memberikan wawasan teoretis yang menarik tentang mengapa meratakan vektor eigen lebih dari sekadar kludge. Ternyata optmisasi dalam ruang fungsi, tunduk pada produk dalam yang berisi penalti kelancaran, memberikan solusi dimensi terbatas dari splines basis. FDA menggunakan ruang fungsi dimensi tak terbatas, tetapi analisis tidak memerlukan jumlah dimensi tak terbatas. Ini seperti trik kernel dalam proses Gaussian atau SVM. Sebenarnya ini sangat mirip dengan trik kernel.

Karya asli Ramsay membahas situasi di mana cerita utama dalam data jelas: fungsinya lebih atau kurang linier, atau lebih atau kurang berkala. Vektor eigen dominan PCA standar hanya akan mencerminkan tingkat keseluruhan fungsi dan tren linier (atau fungsi sinus), pada dasarnya memberi tahu kita apa yang sudah kita ketahui. Fitur yang menarik terletak pada residual, yang sekarang beberapa vektor eigen dari daftar teratas. Dan karena masing-masing vektor eigen berikutnya harus ortogonal dengan yang sebelumnya, konstruksi ini semakin bergantung pada artefak analisis dan lebih sedikit pada fitur yang relevan dari data. Dalam analisis faktor, rotasi faktor miring bertujuan untuk menyelesaikan masalah ini. Ide Ramsay bukan untuk memutar komponen, melainkan mengubah definisi ortogonalitas dengan cara yang lebih mencerminkan kebutuhan analisis. Ini berarti bahwa jika Anda khawatir dengan komponen periodik, Anda akan memuluskannyaD3-DD2

Orang mungkin keberatan bahwa akan lebih mudah untuk menghapus tren dengan OLS dan memeriksa residu dari operasi itu. Saya tidak pernah yakin bahwa nilai tambah FDA sebanding dengan kompleksitas metode ini. Namun dari sudut pandang teoretis, ada baiknya mempertimbangkan masalah yang terlibat. Segala yang kami lakukan untuk data mengacaukan segalanya. Sisa dari OLS berkorelasi, bahkan ketika data asli independen. Smoothing a time series memperkenalkan autokorelasi yang tidak ada dalam seri mentah. Gagasan FDA adalah untuk memastikan bahwa residu yang kami dapatkan dari detrending awal cocok untuk analisis yang menarik.

Anda harus ingat bahwa FDA berasal pada awal 80-an ketika fungsi spline sedang dalam studi aktif - pikirkan Grace Wahba dan timnya. Banyak pendekatan untuk data multivariat telah muncul sejak saat itu - seperti SEM, analisis kurva pertumbuhan, proses Gaussian, perkembangan lebih lanjut dalam teori proses stokastik, dan banyak lagi. Saya tidak yakin bahwa FDA tetap menjadi pendekatan terbaik untuk pertanyaan yang dialaminya. Di sisi lain, ketika saya melihat aplikasi apa yang dimaksudkan sebagai FDA, saya sering bertanya-tanya apakah penulis benar-benar memahami apa yang coba dilakukan FDA.


+1. Ups, saya baru memperhatikan jawaban Anda sekarang, dan hanya secara kebetulan (orang lain meninggalkan komentar di bawah jawaban saya di sini dan saya menggulir ke bawah). Terima kasih banyak telah berkontribusi! Saya pikir saya perlu mencari waktu untuk melakukan sedikit lebih banyak membaca tentang ini dan untuk berpikir tentang apa yang Anda katakan tentang kesamaan dengan trik kernel. Kedengarannya masuk akal.
Amoeba berkata Reinstate Monica

5

Saya tidak yakin tentang FPCA, tetapi satu hal yang perlu diingat, adalah bahwa dalam dimensi yang sangat tinggi, ada lebih banyak "ruang", dan titik-titik dalam ruang mulai terlihat terdistribusi secara seragam (yaitu semuanya jauh dari yang lain). Pada titik ini, matriks kovarians akan mulai terlihat seragam secara esensial, dan akan sangat sensitif terhadap kebisingan. Karena itu, ini menjadi perkiraan buruk tentang kovarians "benar". Mungkin FPCA menyelesaikan ini entah bagaimana, tapi saya tidak yakin.

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.