Perbedaan Berarti Maksimum (distribusi jarak)

Saya memiliki dua set data (sumber dan data target) yang mengikuti distribusi yang berbeda. Saya menggunakan MMD - yang merupakan distribusi jarak non-parametrik - untuk menghitung distribusi marginal antara sumber dan data target.

sumber data, Xs

data target, Xt

Matriks adaptasi A

* Data yang diproyeksikan, Zs = A '* Xs dan Zt = A' Xt

* MMD => Jarak (P (Xs), P (Xt)) = | mean (A'Xs) - mean (A ' Xt) |

Itu berarti: jarak distribusi antara sumber dan data target di ruang asli setara dengan jarak antara sarana sumber yang diproyeksikan dan data target di ruang tertanam.

Saya punya pertanyaan tentang konsep MMD.

Dalam rumus MMD, Mengapa dengan jarak komputasi di ruang laten, kita bisa mengukur jarak distribusi di ruang asli?

Terima kasih

— Mahsa
sumber

Anda belum benar-benar mengajukan pertanyaan: Anda hanya memberi tahu kami bahwa Anda bingung!

— whuber

Mungkin membantu untuk memberikan sedikit lebih banyak gambaran tentang MMD. $\DeclareMathOperator{\E}{\mathbb E}\newcommand{\R}{\mathbb R}\newcommand{\X}{\mathcal X}\newcommand{\h}{\mathcal H}\DeclareMathOperator{\MMD}{MMD}$

Secara umum, MMD didefinisikan oleh gagasan untuk merepresentasikan jarak antar distribusi sebagai jarak antara rata - rata embedding fitur. Artinya, katakanlah kita memiliki distribusi dan lebih dari satu set . MMD didefinisikan oleh peta fitur , di mana adalah apa yang disebut ruang reproduksi kernel Hilbert. Secara umum, MMD adalah $P$ $Q$ $\X$ $\varphi : \X \to \h$ $\mathcal H$

MMD (P, Q) = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} .

$\MMD(P, Q) = \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h .$

Sebagai satu contoh, kita mungkin memiliki dan . Dalam hal ini: sehingga MMD ini hanya jarak antara rata-rata dari dua distribusi. Distribusi yang cocok seperti ini akan cocok dengan kemampuan mereka, meskipun mereka mungkin berbeda dalam variansnya atau dengan cara lain. $\X = \h = \R^d$ $\varphi(x) = x$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [X] - E_{Y \sim Q} [Y] ‖_{R^{d}} \\ = ‖ μ_{P} - μ_{Q} ‖_{R^{d}}, \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ X ] - \E_{Y \sim Q}[ Y ] \rVert_{\R^d} \\&= \lVert \mu_P - \mu_Q \rVert_{\R^d} ,\end{align}$

Kasus Anda sedikit berbeda: kami memiliki dan , dengan , di mana adalah matriks . Jadi kita memiliki MMD ini adalah perbedaan antara dua proyeksi yang berbeda dari rata-rata. Jika atau pemetaan sebaliknya tidak dapat dibalik, $\mathcal X = \mathbb R^d$ $\mathcal H = \mathbb R^p$ $\varphi(x) = A' x$ $A$ $d \times p$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [A^{'} X] - E_{Y \sim Q} [A^{'} Y] ‖_{R^{p}} \\ = ‖ A^{'} E_{X \sim P} [X] - A^{'} E_{Y \sim Q} [Y] ‖_{R^{p}} \\ = ‖ A^{'} (μ_{P} - μ_{Q}) ‖_{R^{p}} . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ A' X ] - \E_{Y \sim Q}[ A' Y ] \rVert_{\R^p} \\&= \lVert A' \E_{X \sim P}[ X ] - A' \E_{Y \sim Q}[ Y ] \rVert_{\R^p} \\&= \lVert A'( \mu_P - \mu_Q ) \rVert_{\R^p} .\end{align}$

p < d

$p < d$

A^{'}

$A'$ daripada yang sebelumnya: itu tidak membedakan antara beberapa distribusi yang sebelumnya tidak.

Anda juga dapat membangun jarak yang lebih kuat. Misalnya, jika dan Anda menggunakan , maka MMD menjadi , dan dapat membedakan tidak hanya distribusi dengan cara yang berbeda tetapi dengan varian yang berbeda juga. $\X = \R$ $\varphi(x) = (x, x^2)$ $\sqrt{(\E X - \E Y)^2 + (\E X^2 - \E Y^2)^2}$

Dan Anda bisa mendapatkan yang lebih kuat dari itu: jika memetakan ke ruang Hilbert kernel mereproduksi umum, maka Anda dapat menerapkan trik kernel untuk menghitung MMD, dan ternyata banyak kernel, termasuk kernel Gaussian, mengarah ke MMD menjadi nol jika dan hanya distribusinya yang identik. $\varphi$

Secara khusus, membiarkan , Anda mendapatkan yang dapat Anda perkirakan secara langsung dengan sampel. $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_\h$

\begin{aligned} {MMD}^{2} (P, Q) & = ‖ E_{X \sim P} φ (X) - E_{Y \sim Q} φ (Y) ‖_{H}^{2} \\ = ⟨ E_{X \sim P} φ (X), E_{X^{'} \sim P} φ (X^{'}) ⟩_{H} + ⟨ E_{Y \sim Q} φ (Y), E_{Y^{'} \sim Q} φ (Y^{'}) ⟩_{H} - 2 ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩_{H} \\ = E_{X, X^{'} \sim P} k (X, X^{'}) + E_{Y, Y^{'} \sim Q} k (Y, Y^{'}) - 2 E_{X \sim P, Y \sim Q} k (X, Y) \end{aligned}

$\begin{align} \MMD^2(P, Q) &= \lVert \E_{X \sim P} \varphi(X) - \E_{Y \sim Q} \varphi(Y) \rVert_\h^2 \\&= \langle \E_{X \sim P} \varphi(X), \E_{X' \sim P} \varphi(X') \rangle_\h + \langle \E_{Y \sim Q} \varphi(Y), \E_{Y' \sim Q} \varphi(Y') \rangle_\h - 2 \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle_\h \\&= \E_{X, X' \sim P} k(X, X') + \E_{Y, Y' \sim Q} k(Y, Y') - 2 \E_{X \sim P, Y \sim Q} k(X, Y) \end{align}$

Pembaruan: dari sinilah "maksimum" dari namanya berasal.

Peta fitur memetakan ke dalam ruang Hilbert yang direproduksi. Ini adalah ruang fungsi , dan memenuhi properti kunci (disebut properti reproduksi ): untuk setiap . $\varphi: \X \to \h$ $\langle f, \varphi(x) \rangle_\h = f(x)$ $f \in \h$

Dalam contoh paling sederhana, dengan , kita melihat setiap sebagai fungsi yang berhubungan dengan beberapa , oleh . Maka properti reproduksi harus masuk akal. $\X = \h = \R^d$ $\varphi(x) = x$ $f \in \h$ $w \in \R^d$ $f(x) = w' x$ $\langle f, \varphi(x) \rangle_\h = \langle w, x \rangle_{\R^d}$

Dalam pengaturan yang lebih kompleks, seperti kernel Gaussian, adalah fungsi yang jauh lebih rumit, tetapi properti reproduksi masih bertahan. $f$

Sekarang, kita dapat memberikan karakterisasi alternatif MMD: Baris kedua adalah fakta umum tentang norma di ruang Hilbert:

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] ⟩_{H} - ⟨ f, E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [⟨ f, φ (X) ⟩_{H}] - E_{Y \sim Q} [⟨ f, φ (Y) ⟩_{H}] \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [f (X)] - E_{Y \sim Q} [f (Y)] . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] \rangle_\h - \langle f, \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[\langle f, \varphi(X)\rangle_\h] - \E_{Y \sim Q}[\langle f, \varphi(Y) \rangle_\h] \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[f(X)] - \E_{Y \sim Q}[f(Y)] .\end{align}$

sup_{f : ‖ f ‖ \leq 1} ⟨ f, g ⟩_{H} = ‖ g ‖

$\sup_{f : \lVert f \rVert \le 1} \langle f, g \rangle_\h = \lVert g \rVert$ dicapai oleh . Yang keempat tergantung pada kondisi teknis yang dikenal sebagai integrasi Bochner tetapi benar misalnya untuk kernel atau distribusi terbatas dengan dukungan terikat. Kemudian pada akhirnya kami menggunakan properti reproduksi.

f = g / ‖ g ‖

$f = g / \lVert g \rVert$

Baris terakhir ini adalah mengapa ini disebut "perbedaan rata-rata maksimum" - itu adalah maksimum, lebih dari fungsi uji dalam satuan bola , dari perbedaan rata-rata antara dua distribusi. $f$ $\h$

— Dougal
sumber

Terima kasih atas penjelasan Anda, menjadi lebih jelas bagi saya; Masih saya tidak mendapatkan konsep ini, Pada awalnya, Anda berkata: "MMD didefinisikan oleh gagasan mewakili jarak antara distribusi sebagai jarak antara rata-rata fitur embeddings." Mengapa ide ini menjadi kenyataan?

— Mahsa

"MMD didefinisikan oleh gagasan untuk merepresentasikan jarak antar distribusi sebagai jarak antara rata-rata embedding fitur." Mengapa ide ini menjadi kenyataan? Apakah ini terkait dengan ruang RKHS?

— Mahsa

Itu hanya definisi: Anda dapat membandingkan distribusi dengan membandingkan artinya. Atau, Anda dapat membandingkan distribusi dengan membandingkan beberapa transformasi sarana mereka; atau dengan membandingkan cara dan varians mereka; atau dengan membandingkan rata-rata peta fitur lainnya, termasuk satu di RKHS.

— Dougal

Terimakasih atas tanggapan Anda; Saya akan membaca lebih lanjut tentang peta fitur RKHS; Saya bertanya-tanya, mengapa MMD mendefinisikan jarak dalam peta fitur RKHS? Maksud saya, apa manfaat RKHS dalam definisi jarak MMD?

— Mahsa

Penjelasan di sini difokuskan pada "Perbedaan Perbedaan" sebagai kebalikan dari "Perbedaan Perbedaan Maksimum". Adakah yang bisa menjelaskan bagian "Maksimalisasi"?

— Jiang Xiang

Inilah cara saya menginterpretasikan MMD. Dua distribusi serupa jika momen mereka serupa. Dengan menerapkan kernel, saya dapat mengubah variabel sehingga semua momen (pertama, kedua, ketiga dll) dihitung. Di ruang laten saya dapat menghitung perbedaan antara momen dan rata-rata. Ini memberikan ukuran kesamaan / ketidaksamaan antara dataset.

— rsambasivan
sumber