Subset terkorelasi terkecil dari variabel acak dari matriks korelasi

Saya memiliki matriks korelasi $A$ , yang saya peroleh dengan menggunakan koefisien korelasi linear Pearson melalui corrcoef () Matlab . Matriks korelasi dimensi 100x100, yaitu saya menghitung matriks korelasi pada 100 variabel acak.

Di antara 100 variabel acak ini, saya ingin menemukan 10 variabel acak yang matriks korelasinya mengandung "korelasi sekecil mungkin" (lihat Mengukur berapa "korelasi lebih banyak" yang terkandung dalam matriks korelasi A dibandingkan dengan matriks korelasi B mengenai metrik untuk mengukur korelasi keseluruhan dalam matriks korelasi). Saya hanya peduli tentang korelasi berpasangan.

Adakah metode yang baik untuk menemukan 10 variabel acak dalam jumlah waktu yang wajar (mis. Saya tidak ingin mencoba $\binom{100}{10}$ kombinasi)? Algoritme pendekatan adalah OK.

Mari kita anggap jumlah korelasi berpasangan absolut sebagai ukuran pilihan kita. Kami dengan demikian mencari vektor dengan yang akan meminimalkan mana.$v\in\{0,1\}^N$$l_1(v)=n$$v'Qv$$Q_{ij}=|A_{ij}|$

Asumsikan Q juga positif sebagai A, masalahnya dikurangi untuk menyelesaikan masalah optimasi kuadratik terbatas:

$$v^*=\min\ v'Qv\ s.t.\ l_1(v)=n,\ v_i\in\{0,1\}$$

Ini menyarankan relaksasi berikut:

$$v^*=\min\ v'Qv\ s.t.\ l_1(v)=n,\ v_i\in[0,1]$$

yang dapat dengan mudah dipecahkan menggunakan pemecah yang tidak tersedia; maka hasilnya diberikan oleh komponen terbesar di .$n$$v^*$

Contoh kode matlab:

N=100;
n=10;
% Generate random data
A=rand(N,1000);
C=corrcoef(A');
Q=abs((C+C')/2); % make sure it is symmetric
x = cplexqp(Q,zeros(1,N),[],[], ones(1, N),n, zeros(N,1), ones(N,1));
% If you don't use CPLEX, use matlab's default
% x = quadprog(Q,zeros(1,N),[],[], ones(1, N),n, zeros(N,1), ones(N,1));
assert(abs(sum(x)-n)<1e-10);
% Find the n largest values
I=sort(x); 
v=zeros(size(x)); v(x>I(N-n))=1; 
assert(abs(sum(v)-n)<1e-10);
% Make sure we do better than 10K random trials
for i=1:10000
   vc=zeros(size(x)); vc(randperm(N,n))=1;
   assert(sum(vc)==n, 'Wrong l0 norm');
   assert(vc'*Q*vc>v'*Q*v, 'Improves result');
end
% Show results
J=find(v==1);
fprintf('The optimal solution total off-diagonal correlations are %1.3f\n', v'*Q*v-n);
fprintf('The matrix:\n');
C(J,J)

Ini mungkin lebih buruk daripada ide pengelompokan hierarkis @ ttnphns. Tetapi: Saya baru saja menemukan kertas yang menggunakan sebagai fungsi tujuan submodular yang meningkat:$\log \det(I + A)$

Vanchinathan, Marfurt, Robelin, Kossman, dan Krause. Menemukan Barang Berharga dari Data Masif . KDD 2015. ( doi , arXiv )

Jika Anda berpikir itu ukuran yang masuk akal dari "berkorelasi paling rendah", Anda bisa mendapatkan dalam faktor dari set optimal dengan hanya secara iteratif memilih titik yang memaksimalkan itu. Ini dapat dilakukan secara efisien dengan dekomposisi blok LU , di mana adalah vektor korelasi untuk entri yang sudah ada dalam matriks:$1-1/e$$v$

$$\begin{align*} \det \begin{bmatrix} I+A & v \\ v^T & 2 \end{bmatrix} &= \det \left( \begin{bmatrix} I & 0 \\ v^T (I+A)^{-1} & 1 \end{bmatrix} \begin{bmatrix} I+A & 0 \\ 0 & 2 - v^T (I+A)^{-1} v \end{bmatrix} \begin{bmatrix} I & (I+A)^{-1} v \\ 0 & 1 \end{bmatrix} \right) \\&= \det \begin{bmatrix} I & 0 \\ v^T (I+A)^{-1} & 1 \end{bmatrix} \det \begin{bmatrix} I+A & 0 \\ 0 & 2 - v^T (I+A)^{-1} v \end{bmatrix} \det \begin{bmatrix} I & (I+A)^{-1} v \\ 0 & 1 \end{bmatrix} \\&= (2 - v^T (I+A)^{-1} v) \det (I+A) \end{align*}$$

dan tentu saja Anda harus menghitung , di mana adalah faktorisasi Cholesky dari dan menggunakan pemecah segitiga yaitu . Jadi seluruh proses ini harus mengambil waktu untuk memilih dari elemen , dengan asumsi matriks korelasi sudah dihitung .$v^T (I+A)^{-1} v = \lVert L^{-1} v \rVert^2$$L$$I + A$$O(n^2)$$O( \sum_{k=1}^n N k^2 + k^3) = O( N n^3 )$$n$$N$

Saya tidak yakin untuk sepenuhnya memahami apa yang Anda maksud dengan "Saya hanya peduli tentang korelasi berpasangan" , tapi di sini ada sesuatu yang dapat membantu: gunakan pembalik matriks korelasi Anda. Istilah sama dengan , di mana adalah x dibangun dari di mana kolom dan garis ke- telah dihapus.$A^{-1}_{ii}$$det(A_{0_i}) / det(A)$$A_{0_i}$$(n-1)$$(n-1)$$A$$i$

Mendapatkan indeks koefisien diagonal minimum dalam dengan demikian memberi tahu Anda titik mana yang memiliki korelasi terendah dengan sisa set.$A^{-1}$

Bergantung pada apa yang sebenarnya ingin Anda lakukan, Anda bisa mengambil 10 nilai terendah pada diagonal invert, atau mendapatkan yang pertama, lalu menghitung invert dengan titik yang dihapus, dan seterusnya.

Jika ini bukan yang Anda butuhkan, saya merasa trik ini mungkin masih bisa membantu, tetapi saya tidak yakin bagaimana caranya.

Cari dari item dengan berpasangan korelasi setidaknya: Sejak korelasi katakanlah menjelaskan dari hubungan antara dua seri lebih masuk akal untuk meminimalkan jumlah kuadrat dari korelasi untuk target item. Ini solusi sederhana saya.$k$$n$$0.6$$0.36$$k$

Tulis ulang matriks korelasi Anda ke matriks kuadrat korelasi. Jumlahkan kuadrat dari setiap kolom. Hilangkan kolom dan baris yang sesuai dengan jumlah terbesar. Anda sekarang memiliki . Ulangi sampai Anda memiliki matriks . Anda juga bisa menyimpan kolom dan baris yang sesuai dengan jumlah terkecil. Membandingkan metode, saya menemukan dalam matriks dengan dan bahwa hanya dua item dengan jumlah dekat yang disimpan dan dihilangkan secara berbeda.$n \times n$$(n−1)\times (n−1)$$k\times k$$k$$n=43$$k=20$