Apakah teorema Mercer bekerja secara terbalik?

Seorang rekan memiliki fungsi dan untuk tujuan kita itu adalah kotak hitam. Fungsi mengukur kesamaan dari dua objek. $s$ $s(a,b)$

Kami tahu pasti bahwa memiliki sifat-sifat ini: $s$

Skor kesamaan adalah bilangan real antara 0 dan 1, inklusif.
Hanya objek yang identik sendiri memiliki skor 1. Jadi menyiratkan , dan sebaliknya. $s(a,b)=1$ $a=b$
Kami dijamin . $s(a,b) = s(b,a)$

Sekarang dia ingin bekerja dengan algoritma yang membutuhkan jarak sebagai input, dan bergantung pada input yang memuaskan aksioma jarak.

Pikir saya adalah bahwa kita dapat memperlakukan skor kesamaan seolah-olah mereka adalah hasil dari kernel RBF dengan jarak tertentu (itu bisa menjadi norma Euclidean atau jarak lain), yaitu kita bisa mengatur ulang dengan aljabar dan menganggap bahwa skor kesamaan mengacu pada kernel RBF untuk sepasang poin dalam beberapa sistem koordinat (tidak diketahui).

\begin{aligned} s (x_{i}, x_{j}) & = \exp (- \frac{d (m_{i}, m_{j})^{2}}{r}) \\ \sqrt{- r \log s (x_{i}, x_{j})} & = d (m_{i}, m_{j}) \end{aligned}

$\begin{align} s(x_i,x_j) &= \exp\left(-\frac{d( m_i, m_j)^2}{r}\right) \\ \sqrt{-r \log s(x_i,x_j) } &= d(m_i,m_j) \\ \end{align}$

Di mana adalah beberapa vektor yang tidak diketahui, dan adalah objek yang menarik dan adalah jarak tertentu. $m_\alpha \in \mathbb{R}^n$ $x_\alpha$ $d$

Sifat-sifat yang jelas berhasil, dalam hal menghormati aksioma jarak. Hasilnya harus non-negatif, dan jarak hanya 0 untuk objek yang identik. Tetapi tidak jelas bahwa rangkaian keadaan yang agak umum ini cukup untuk menyiratkan bahwa ketimpangan segitiga dihormati.

Di sisi lain, ini terdengar agak gila.

Jadi pertanyaan saya adalah "apakah ada sehingga untuk metrik jarak diberikan properti ini pada , dan apa itu ?" $f$ $f(s(a,b))=d(a,b)$ $d$ $s$ $f$

Jika tidak ada dalam keadaan umum ini pada , apakah ada seperangkat persyaratan tambahan yang ada? $f$ $s$ $f$

— Sycorax berkata Reinstate Monica
sumber

Perhatikan bahwa bahkan jika Anda diberi set jarak berpasangan

yang memenuhi aksioma jarak, tidak dijamin bahwa ada ruang Euclidean dengan titik yang menyadari jarak ini. Penanaman seperti itu tidak selalu memungkinkan. Lihat misalnya math.stackexchange.com/questions/1000006 .

d (a, b)

$d(a,b)$

— Amoeba berkata Reinstate Monica

Ini adalah utas yang sangat menarik! Terima kasih telah membagikannya. Bukan niat saya untuk membatasi diri pada jarak tertentu. (Karena, bergerak ke arah yang berlawanan, orang mungkin menggunakan kernel RBF dengan jarak non-Euclidean.)

— Sycorax mengatakan Reinstate Monica

Jadi pertanyaan Anda hanya tentang bagaimana mengubah

menjadi

sedemikian rupa sehingga

memenuhi ketimpangan segitiga? Apakah matriks jarak ini dapat ditanamkan dalam ruang Euclidean, tidak masalah bagi Anda. Benar? Intuisi saya adalah bahwa untuk sewenang-wenang

itu tidak akan mungkin.

s (a, b)

$s(a,b)$

d (a, b) = f (s (a, b))

$d(a,b)=f(s(a,b))$

d

$d$

s

$s$

— Amuba mengatakan Reinstate Monica

Ini benar. Saya menduga bahwa ini tidak mungkin, setidaknya bukan tanpa batasan tambahan pada

s

$s$

— Sycorax berkata Reinstate Monica

selalu mengarah ke metrik diskrit (en.wikipedia.org/wiki/Discrete_space), tetapi ini mungkin tidak dimaksudkan sehingga beberapa kondisi harus ditambahkan (?)

f : f (x) = I_{x > 0}

$f: f(x) = I_{x>0}$

— Juho Kokkala

Jawaban:

Apakah teorema Mercer bekerja secara terbalik?

Tidak dalam semua kasus.

Wikipedia: "Dalam matematika, khususnya analisis fungsional, teorema Mercer adalah representasi dari fungsi definitif positif simetris pada bujur sangkar sebagai jumlah dari urutan konvergen fungsi produk. Teorema ini, yang disajikan dalam (Mercer 1909), adalah salah satu dari hasil yang paling menonjol dari karya James Mercer.Ini adalah alat teoretis yang penting dalam teori persamaan integral, digunakan dalam teori ruang proses proses stokastik Hilbert, misalnya teorema Karhunen-Loève, dan juga digunakan untuk mengkarakterisasi kernel semi-pasti positif simetris.

Ini adalah ' pemetaan banyak ke satu ' pada ruang Hilbert . - sebuah kotor penyederhanaan akan menggambarkannya sebagai hash atau checksum yang Anda dapat menguji terhadap file untuk menentukan identitas atau tidak.

Penjelasan lebih teknis: teorema disintegrasi

"Dalam matematika, teorema disintegrasi adalah hasil dari teori ukuran dan teori probabilitas. Teori ini secara ketat mendefinisikan ide " pembatasan "non-sepele dari ukuran untuk mengukur nol subset dari ruang ukuran yang bersangkutan. Hal ini terkait dengan keberadaan ukuran probabilitas bersyarat. Dalam arti tertentu, "disintegrasi" adalah proses yang berlawanan dengan konstruksi ukuran produk. ".

Lihat juga: " Teorema Fubini-Tonelli ", " Hinge Loss ", " Loss Function ", dan " Seberapa Baik Kernel Saat Digunakan sebagai Ukuran Kesamaan? " (Juni 2007) oleh Nathan Srebro, abstrak:

" Abstrak. Baru-baru ini, Balcan dan Blum menyarankan teori pembelajaran berdasarkan fungsi kesamaan umum, alih-alih kernel semi-pasti positif. Kami mempelajari kesenjangan antara jaminan pembelajaran berdasarkan pembelajaran berbasis kernel, dan teori yang dapat diperoleh dengan menggunakan kernel sebagai fungsi kesamaan, yang dibiarkan terbuka oleh Balcan dan Blum. Kami memberikan ikatan yang ditingkatkan secara signifikan pada seberapa baik fungsi kernel ketika digunakan sebagai fungsi kesamaan, dan memperluas hasilnya juga ke engsel-loss yang lebih relevan secara praktis, bukan kemudian zero-one-error-rate. Selanjutnya, kami menunjukkan bahwa ikatan ini ketat, dan karenanya menetapkan bahwa sebenarnya ada kesenjangan nyata antara gagasan margin berbasis kernel tradisional dan gagasan berbasis kesamaan yang lebih baru. "

Seorang rekan memiliki fungsi dan untuk tujuan kita itu adalah kotak hitam. $s$

Lihat: kernel dan kesamaan (dalam R)

Ini adalah kotak hitam sehingga Anda tidak tahu pasti kernel mana yang digunakan, apakah itu berbasis kernel, dan Anda tidak tahu detail implementasi kernel begitu Anda berpikir Anda tahu yang mana. Lihat: Persamaan rbfKernel di kernlab berbeda dari standar? .

Di sisi lain, ini terdengar agak gila.

Ini cepat dan efektif, dalam keadaan yang terbatas. Seperti palu, jika Anda membawa palu Anda akan orang-orang memanggil Anda gila?

" Metode kernel berutang nama mereka untuk penggunaan fungsi kernel, yang memungkinkan mereka untuk beroperasi dalam ruang fitur, dimensi tinggi implisit tanpa pernah menghitung koordinat data dalam ruang itu, melainkan dengan hanya menghitung produk dalam antara gambar dari semua pasangan data dalam ruang fitur. Operasi ini sering kali secara komputasi lebih murah daripada perhitungan eksplisit dari koordinat. Pendekatan ini disebut "trik kernel". Fungsi kernel telah diperkenalkan untuk data urutan, grafik, teks, gambar, sebagai serta vektor. "

Pelajaran: Anda (terkadang) mendapatkan apa yang Anda bayar.

$f$ $f(s(a,b))=d(a,b)$ $d$ $s$ $f$

Banyak, lihat tautan di atas, " Fungsi Kernel Populer ", RBF , dan inilah satu contoh (mahal): " Ukuran Jarak Rasio Kemungkinan untuk Kesamaan Antara Fourier Transform of Time Series " (2005), oleh Janacek, Bagnall dan Powell.

Jika f tidak ada dalam keadaan umum ini pada s , apakah ada seperangkat persyaratan tambahan yang f $f$ $s$ $f$

Ruang dan metode yang berbeda dapat lebih baik menargetkan perbandingan (dan disintegrasi) dari masalah tertentu, ada banyak metode untuk ruang Hilbert saja.

Ya, daftarnya besar, lihat tautan di atas dan (untuk satu contoh): Mereproduksi ruang kernel Hilbert .

— rampok
sumber

-1

Tetapi tidak jelas bahwa rangkaian keadaan yang agak umum ini cukup untuk menyiratkan bahwa ketimpangan segitiga dihormati.

$d(a, b) = 1 - s(a, b)$ $x, y, z$ $d(x, y) = \frac{1}{3}$ $d(y, z) = \frac{1}{3}$ $d(x, z) = 1$ $d(x, z) > d(x, y) + d(y, z)$

— Kodiologis
sumber

Saya tidak melihat bagaimana ini membuktikan apa pun.

— Amuba mengatakan Reinstate Monica

d

$d$

f (α) = 1 - α

$f(\alpha)=1-\alpha$

s

$s$

f

$f$

d

$d$

f

$f$

m

$m$

s

$s$

d

$d$

f

$f$

m

$m$

1 - s (a, b)

$1-s(a,b)$

x_{α}

$x_\alpha$

m_{α}

$m_\alpha$

s

$s$