Apa arti dari vektor eigen dari matriks informasi timbal balik?

Ketika melihat vektor eigen dari matriks kovarians, kita mendapatkan arah varians maksimum (vektor eigen pertama adalah arah di mana data paling bervariasi, dll.); ini disebut analisis komponen utama (PCA).

Saya bertanya-tanya apa artinya melihat vektor-vektor eigen / nilai-nilai matriks informasi timbal balik, akankah mereka menunjuk ke arah entropi maksimum?

Meskipun ini bukan jawaban langsung (karena ini adalah tentang informasi timbal balik pointwise ), lihat kertas yang berkaitan dengan word2vec dengan dekomposisi nilai tunggal matriks PMI:

• O. Levy, Y. Goldberg, Neural Word Embedding sebagai Faktorisasi Matriks Tersirat

Kami menganalisis loncatan gram dengan pengambilan sampel negatif (SGNS), metode penyisipan kata yang diperkenalkan oleh Mikolov et al., Dan menunjukkan bahwa ia secara implisit memfaktorkan matriks kata-konteks, yang sel-selnya merupakan informasi timbal balik (PMI) masing-masing dari masing-masing pasangan kata dan konteks, digeser oleh konstanta global. Kami menemukan bahwa metode penyisipan lain, NCE, secara implisit memfaktorkan matriks yang sama, di mana setiap sel adalah probabilitas kondisional log (bergeser) dari sebuah kata yang diberikan konteksnya. Kami menunjukkan bahwa menggunakan matriks konteks kata PMI Bergeser Positif bergeser jarang untuk mewakili kata meningkatkan hasil pada dua tugas kesamaan kata dan satu dari dua tugas analogi. Ketika vektor dimensi rendah yang padat lebih disukai, faktorisasi tepat dengan SVD dapat mencapai solusi yang setidaknya sebagus solusi SGNS untuk tugas kesamaan kata. Pada pertanyaan analogi, SGNS tetap lebih unggul dari SVD. Kami menduga bahwa ini berasal dari sifat bobot faktorisasi SGNS.