Teknik penelusuran acak

10

Saya telah bertemu dengan teknik jejak acak berikut ini di M. Seeger, "Pembaruan peringkat rendah untuk dekomposisi Cholesky," University of California di Berkeley, Tech. Rep, 2007.

tr (A) = E [x^{T} A x]

$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$

di mana . $\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$

Sebagai orang tanpa latar belakang matematika yang mendalam, saya bertanya-tanya bagaimana kesetaraan ini dapat dicapai. Selain itu, bagaimana kita dapat menginterpretasikan , misalnya secara geometris? Di mana saya harus mencari untuk memahami arti dari mengambil produk dalam vektor dan nilai jangkauannya? Mengapa rata-rata sama dengan jumlah nilai eigen? Selain properti teoretis, apa kepentingan praktisnya? $\mathbf{x}^T \mathbf{A} \mathbf{x}$

Saya telah menulis snipet kode MATLAB untuk melihat apakah itu berfungsi

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

Jejaknya adalah 15 di mana perkiraannya adalah 14.9696.

normal-distribution matlab

— petrichor
sumber

12

NB Hasil yang dinyatakan tidak bergantung pada asumsi normalitas atau bahkan independensi dari koordinat . Itu tidak bergantung pada yang pasti positif juga. Memang, anggaplah hanya bahwa koordinat memiliki nol rata-rata, varian satu dan tidak berkorelasi (tetapi tidak harus independen); yaitu, , , dan untuk semua . $\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$ $\A$ $\x$ $\e \x_i = 0$ $\e \x_i^2 = 1$ $\e \x_i \x_j = 0$ $i \neq j$

Pendekatan tangan kosong

Biarkan menjadi matriks sewenang-wenang . Menurut definisi . Kemudian, dan kita selesai. $\A = (a_{ij})$ $n \times n$ $\tr(\A) = \sum_{i=1}^n a_{ii}$

t r (A) = \sum_{i = 1}^{n} a_{i i} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j},

$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$

Dalam hal itu tidak terlalu jelas, perhatikan bahwa sisi kanan, dengan linearitas harapan, adalah

\sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j} = E (\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}) = E (x^{T} A x)

$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$

Bukti melalui jejak properti

Ada cara lain untuk menulis ini yang sugestif, tetapi bergantung, secara konseptual pada alat yang sedikit lebih maju. Kita perlu bahwa harapan dan operator jejak adalah linier dan bahwa, untuk dua matriks dan dari dimensi yang sesuai, . Kemudian, karena , kami memiliki dan, $\A$ $\newcommand{\B}{\mathbf{B}}\B$ $\tr(\A\B) = \tr(\B\A)$ $\x^T \A \x = \tr(\x^T \A \x)$

E (x^{T} A x) = E (t r (x^{T} A x)) = E (t r (A x x^{T})) = t r (E (A x x^{T})) = t r (A E x x^{T}),

$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$

E (x^{T} A x) = t r (A I) = t r (A) .

$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$

Bentuk kuadratik, produk dalam dan ellipsoid

Jika adalah definitif positif, maka produk dalam dapat didefinisikan melalui dan mendefinisikan ellipsoid di berpusat pada titik asal. $\A$ $\mathbf{R}^n$ $\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$ $\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$ $\mathbf{R}^n$

— kardinal
sumber

Cukup membingungkan untuk mengikuti variabel berani dan mormalcase . Saya pikir itu adalah nilai skalar. Saya mengerti lebih jelas ketika saya mulai dari formulir harapan seperti yang Anda lakukan di bagian terakhir. Jadi sangat jelas bagi saya sekarang.

x_{i}

$\mathbf{x}_i$

x_{i}

$x_i$

E [(x^{T} A x)] = E [(\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j})] = \sum_{i = 1}^{n} a_{i i} E [x_{i}^{2}] + \sum_{i \neq j} a_{i j} E [x_{i} x_{j}]

$\newcommand{\x}{\mathbf{x}}\newcommand{\tr}{\operatorname{tr}} {E[(\x^T \mathbf{A} \x)]} = {E[\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} x_i x_j \Big)]} = \sum_{i=1}^n a_{ii} {E[x_i^2]} + \sum_{i\neq j} a_{ij} {E[x_i x_j]}$

— petrichor

x_{i}

$\mathbf{x}_i$ adalah koordinat ke- dari vektor . Yang lainnya hanyalah kesalahan ketik. Maaf soal itu. Saya mencoba mengikuti notasi Anda sedekat mungkin. Saya biasanya menggunakan dengan sebagai koordinat variabel acak . Tapi, saya tidak ingin (berpotensi) bingung.

i

$i$

x

$\mathbf{x}$

X = (X_{i})

$\mathbf{X} = (X_i)$

X_{i}

$X_i$

X

$\mathbf{X}$

— kardinal

Sebenarnya, ini konsisten dengan jawabannya. Saya hanya ingin memastikan bahwa variabel yang disubkripsikan adalah elemen dari vektor. Sekarang sudah jelas.

— petrichor

Ya, ini konsisten (sekarang) karena saya mengeditnya! :) Terima kasih telah menunjukkan kesalahan ketik. Saya akan mencoba menambahkan sedikit tentang geometri di beberapa titik selama beberapa hari ke depan.

— kardinal

3

Jika adalah pasti positif simetris, maka dengan orthonormal, dan diagonal dengan nilai eigen pada diagonal. Karena memiliki matriks identitas kovarians, dan adalah ortonormal, juga memiliki matriks kovarian identitas. Karenanya menulis , kita memiliki . Karena operator ekspektasi linier, ini hanya . Setiap adalah chi-square dengan 1 derajat kebebasan, sehingga memiliki nilai yang diharapkan 1. Karenanya harapan adalah jumlah dari nilai eigen. $A$ $A = U^tDU$ $U$ $D$ $x$ $U$ $Ux$ $y = Ux$ $E[x^TAx] = E[y^tDy]$ $\sum_{i=0}^n \lambda_i E[y_i^2]$ $y_i$

Secara geometris, matriks definitif positif simetris berada dalam korespondensi 1-1 dengan ellipsoid - diberikan oleh persamaan . Panjang sumbu ellipsoid diberikan oleh mana adalah nilai eigen. $A$ $x^TAx = 1$ $1/\sqrt\lambda_i$ $\lambda_i$

Ketika mana adalah matriks kovarians, ini adalah kuadrat dari jarak Mahalanobis . $A = C^{-1}$ $C$

— aprokopiw
sumber

1

Biarkan saya membahas bagian "apa kepentingan praktisnya" dari pertanyaan. Ada banyak situasi di mana kita memiliki kemampuan untuk menghitung produk vektor matriks efisien bahkan jika kita tidak memiliki salinan disimpan dari matriks atau tidak memiliki cukup penyimpanan untuk menyimpan salinan . Sebagai contoh, mungkin berukuran 100.000 hingga 100.000 dan sepenuhnya padat - A akan membutuhkan 80 gigabytes RAM untuk menyimpan matriks tersebut dalam format floating point preciison ganda. $Ax$ $A$ $A$ $A$

Algoritma acak seperti ini dapat digunakan untuk memperkirakan jejak atau (menggunakan algoritma terkait) entri diagonal individu . $A$ $A$

Beberapa aplikasi teknik ini untuk masalah inversi geofisika skala besar dibahas dalam

JK MacCarthy, B. Borchers, dan RC Aster. Estimasi stokastik yang efisien dari matriks resolusi model diagonal dan validasi lintas umum untuk masalah invers geofisika besar. Jurnal Penelitian Geofisika, 116, B10304, 2011. Link ke makalah

— Brian Borchers
sumber

+1 Saya bertemu dengan algoritma acak semester ini dan terpesona dengan mereka. Izinkan saya menambahkan artikel yang bagus. Nathan Halko, Per-Gunnar Martinsson, Joel A. Tropp, "Menemukan struktur dengan keacakan: Algoritma probabilistik untuk membangun perkiraan dekomposisi matriks", 2010, arxiv.org/abs/0909.4061

— petrichor