Pertanyaan yang diberi tag «linear-algebra»

Saya perhatikan akhir-akhir ini bahwa banyak orang sedang mengembangkan tensor ekivalen dari banyak metode (faktorisasi tensor, kernel tensor, tensor untuk pemodelan topik, dll) Saya bertanya-tanya, mengapa dunia tiba-tiba terpesona dengan tensor? Apakah ada makalah baru / hasil standar yang sangat mengejutkan, yang menyebabkan ini? Apakah komputasi jauh lebih murah daripada …

171 machine-learning  references  matrix  linear-algebra  tensor 

Saya telah bekerja di R sedikit dan telah dihadapkan dengan hal-hal seperti PCA, SVD, dekomposisi QR dan banyak hasil aljabar linier tersebut (ketika memeriksa estimasi regresi berbobot dan semacamnya) jadi saya ingin tahu apakah ada yang punya rekomendasi tentang barang yang bagus. buku aljabar linier yang komprehensif yang tidak terlalu …

54 references  matrix  linear-algebra  weighted-regression 

Saya sudah membaca banyak tentang PCA, termasuk berbagai tutorial dan pertanyaan (seperti yang ini , yang ini , yang ini , dan yang ini ). Masalah geometris yang PCA coba optimalkan jelas bagi saya: PCA mencoba menemukan komponen utama pertama dengan meminimalkan kesalahan rekonstruksi (proyeksi), yang secara bersamaan memaksimalkan varians …

54 pca  optimization  linear-algebra  intuition 

Saya telah membaca tentang dekomposisi nilai singular (SVD). Di hampir semua buku teks disebutkan bahwa itu faktorisasi matriks menjadi tiga matriks dengan spesifikasi yang diberikan. Tapi apa intuisi di balik pemisahan matriks dalam bentuk seperti itu? PCA dan algoritma lain untuk pengurangan dimensi adalah intuitif dalam arti bahwa algoritma memiliki …

50 matrix  linear-algebra  svd  intuition 

Saya kira jawabannya harus ya, tetapi saya masih merasa ada sesuatu yang tidak benar. Seharusnya ada beberapa hasil umum dalam literatur, ada yang bisa membantu saya?

48 covariance  matrix  covariance-matrix  linear-algebra 

Saya mendengar bahwa korelasi parsial antara variabel acak dapat ditemukan dengan membalikkan matriks kovarians dan mengambil sel yang sesuai dari matriks presisi yang dihasilkan (fakta ini disebutkan dalam http://en.wikipedia.org/wiki/Partial_correlation , tetapi tanpa bukti) . Mengapa demikian?

32 covariance  covariance-matrix  linear-algebra  partial-correlation  matrix-inverse 

Katakanlah saya memiliki distribusi Gaussian multivariat dimensional. Dan saya mengambil pengamatan (masing-masing satu -vector) dari distribusi ini dan menghitung sampel kovarians matriks . Dalam hal ini kertas , negara penulis bahwa matriks kovarians sampel dihitung dengan adalah tunggal.halhalpnnnhalhalpSSSp > nhal>np > n Bagaimana itu benar atau diturunkan? Ada penjelasan?

30 covariance-matrix  linear-algebra 

Saya belajar PCA dari kursus Andrew Ng's Coursera dan materi lainnya. Dalam tugas pertama Stanford NLP kursus cs224n , dan dalam video ceramah dari Andrew Ng , mereka melakukan dekomposisi nilai singular bukan dekomposisi vektor eigen dari matriks kovarians, dan Ng bahkan mengatakan bahwa SVD secara numerik lebih stabil daripada …

29 pca  linear-algebra  svd  eigenvalues  numerics 

Jika dan adalah dua vektor satuan acak independen di (didistribusikan secara seragam pada unit sphere), apa distribusi produk skalar mereka (produk titik) ?y R D x ⋅ yxx\mathbf{x}yy\mathbf{y}RDRD\mathbb{R}^Dx⋅yx⋅y\mathbf x \cdot \mathbf y Saya kira ketika menumbuhkan distribusi dengan cepat (?) Menjadi normal dengan rata-rata nol dan penurunan varians dalam dimensi …

27 mathematical-statistics  linear-algebra  beta-distribution 

Saya mengamati perilaku yang sangat aneh dalam hasil SVD dari data acak, yang dapat saya tiru di Matlab dan R. Sepertinya beberapa masalah numerik di perpustakaan LAPACK; Apakah itu? Saya menarik n=1000n=1000n=1000 sampel dari k=2k=2k=2 dimensi Gaussian dengan nol mean dan kovarian identitas: X∼N(0,I)X∼N(0,I)X\sim \mathcal N (0, \mathbf I) . …

21 pca  svd  linear-algebra  numerics 

Saya tahu definisi matriks positif simetris positif (SPD), tetapi ingin lebih memahami. Mengapa mereka begitu penting, secara intuitif? Inilah yang saya tahu. Apa lagi? Untuk data yang diberikan, matriks Co-variance adalah SPD. Matriks co-variance adalah metrik penting, lihat posting yang luar biasa ini untuk penjelasan intuitif. Bentuk kuadrat 12x⊤Ax−b⊤x+c12x⊤SEBUAHx-b⊤x+c\frac 1 …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

Saya mencoba untuk mendapatkan pemahaman intuitif tentang bagaimana analisis komponen utama (PCA) bekerja di ruang subjek (ganda) . Pertimbangkan dataset 2D dengan dua variabel, dan , dan titik data (matriks data adalah dan dianggap berpusat). Presentasi PCA yang umum adalah bahwa kami mempertimbangkan poin dalam , tulis matriks kovarian , …

19 pca  linear-algebra  intuition  geometry 

Saya ingin mengubah data saya sehingga varians akan menjadi satu dan kovariansi akan menjadi nol (yaitu saya ingin memutihkan datanya). Lebih jauh lagi, berarti harus nol.XX\mathbf X Saya tahu saya akan sampai di sana dengan melakukan standardisasi-Z dan transformasi PCA, tetapi dalam urutan apa saya harus melakukannya? Saya harus menambahkan …

18 pca  linear-algebra 

Biarkan . Matriks Informasi Fisher didefinisikan sebagai:θ ∈ Rnθ∈Rn\theta \in R^{n} saya( θ )saya , j= - E[ ∂2catatan( f( X| θ))∂θsaya∂θj∣∣∣θ ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Bagaimana saya bisa membuktikan Matriks Informasi Fisher adalah semidefinit positif?

18 inference  linear-algebra  fisher-information 

Ini adalah pertanyaan yang sangat sederhana tetapi saya tidak dapat menemukan derivasi di mana pun di internet atau dalam buku. Saya ingin melihat derivasi bagaimana seseorang Bayesian memperbarui distribusi normal multivariat. Sebagai contoh: bayangkan itu P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf …

18 bayesian  normal-distribution  matrix  posterior  linear-algebra