Apakah solusi PCA unik?

12

Ketika saya menjalankan PCA pada set data tertentu, apakah solusi yang diberikan kepada saya unik?

Yaitu, saya mendapatkan satu set koordinat 2d, berdasarkan jarak interpoint. Apakah mungkin untuk menemukan setidaknya satu pengaturan poin lagi yang akan memenuhi kendala ini?

Jika jawabannya ya, bagaimana saya bisa menemukan solusi yang berbeda?

pca

— raygozag
sumber

11

Jawaban untuk pertanyaan keunikan adalah ya dan tidak. Ini adalah "ya" dalam arti bahwa eigenspaces dan nilai eigen secara matematis didefinisikan dengan baik dan unik. Ini adalah "tidak" dalam arti bahwa (a) ada beberapa cara untuk mewakili ruang eigens (bahkan vektor eigen yang dinormalisasi dapat dinegasikan dan ada banyak pilihan dasar untuk ruang degenerasi) dan (b) algoritma yang berbeda dapat menghasilkan hasil yang berbeda karena akumulasi kesalahan floating point dalam perhitungan.

— whuber

Ramsay dan Silverman dalam buku "Analisis Data Functinal", menyebutkan rotasi VARIMAX. Pembicaraan Anda tentang pemisahan dataset fungsi (direpresentasikan sebagai matriks) ke dalam komponen-komponen prinsipnya.

— kekuatan

Sepertinya Anda ingin menggunakan PCA sebagai alat untuk pengurangan dimensi. Anda dapat mulai dengan melihat pengurangan Dimensi ...

— Elvis

7

$p$ $p$ $X$ $w$

λ_{1} = max_{w \in R^{p} : | | w | | = 1} w^{'} X w

$\lambda_1=\underset{w\in\mathbb{R}^{p}:||w||=1}{\max} w'Xw$

(di mana adalah nilai eigen pertama dan vektor eigen pertama). $\lambda_1$ $w^*$

Solusi untuk masalah tersebut (misalnya nilai-nilai mencapai maksimum yang), secara umum, tidak unik. $w$

Namun algoritma untuk menghitung solusi ini bersifat deterministik, artinya menghemat untuk kasus sudut numerik, solusi yang Anda dapatkan harus sama.

Contoh kasus sudut numerik tersebut: kasus di mana beberapa nilai eigen (numerik) sama, kasus di mana kekurangan peringkat ... $X$

— pengguna603
sumber

7

Sesuatu yang belum diperhatikan adalah bahwa hanya membalik tanda PC menghasilkan solusi yang berbeda. Yaitu, jika adalah komponen utama ke- , maka juga merupakan solusi untuk komponen utama ke- . Ini telah menyebabkan kebingungan sebelumnya, terutama ketika komputer Anda mengeluarkan PC bergantian. Lihat pertanyaan ini . $\mathbf{w}$ $n$ $-\mathbf{w}$ $n$

— Cam.Davidson.Pilon
sumber

3

Untuk aplikasi praktis yang mendua dari ambiguitas ini, silakan lihat stats.stackexchange.com/questions/34396 . (BTW, tanda pembalikan itu perhatikan: melihat komentar pertama untuk pertanyaan ini.)

— whuber