Menggeneralisasi "trik median" ke dimensi yang lebih tinggi?

Untuk algoritma acak mengambil nilai nyata, "trik median" adalah cara sederhana untuk mengurangi kemungkinan kegagalan pada ambang batas mana pun , dengan biaya hanya pada multiplikatif) overhead. Yaitu, jika output \ mathcal {A} jatuh ke "rentang yang baik" I = [a, b] dengan probabilitas (setidaknya) 2/3 , kemudian menjalankan salinan independen \ mathcal {A} _1, \ dots, \ mathcal {A} _t dan mengambil median output mereka a_1, \ dots, a_t akan menghasilkan nilai yang jatuh dalam I dengan probabilitas setidaknya 1- \ delta oleh batas Chernoff / Hoeffding. δ > 0 t = O ( log $\mathcal{A}$$\delta > 0$AI=[a,b]2/3A1,...,Ata1,...,atI1-$t=O(\log\frac{1}{\delta})$$\mathcal{A}$$I=[a,b]$$2/3$$\mathcal{A}_1,\dots,\mathcal{A}_t$$a_1,\dots,a_t$$I$$1-\delta$

Apakah ada generalisasi dari "trik" ini ke dimensi yang lebih tinggi, katakanlah $\mathbb{R}^d$ , di mana kisaran yang baik sekarang menjadi set cembung (atau bola, atau set yang cukup bagus dan terstruktur)? Yaitu, diberikan algoritma acak $\mathcal{A}$ menghasilkan nilai dalam $\mathbb{R}^d$ , dan "set yang baik" $S\subseteq \mathbb{R}^d$ sedemikian rupa sehingga $\mathbb{P}_r\{ \mathcal{A}(x,r) \in S \} \geq 2/3$ untuk semua $x$ , bagaimana seseorang dapat meningkatkan probabilitas keberhasilan menjadi $1-\delta$ dengan hanya biaya logaritmik dalam $1/\delta$ ?

(Frasa yang berbeda: diberikan tetap, arbirary dengan jaminan bahwa setidaknya \ frac {2t} {3} dari a_i milik S , apakah ada prosedur mengeluarkan nilai dari S ? Jika demikian, apakah ada yang efisien?)2 $a_1,\dots, a_t\in \mathbb{R}^d$ a$\frac{2t}{3}$$a_i$$S$$S$

Dan apakah seperangkat asumsi minimum yang dibutuhkan seseorang di $S$ agar dapat dicapai di atas?

Maaf jika ini ternyata sepele - Saya tidak dapat menemukan referensi untuk pertanyaan ini ...

Apa yang Anda cari hampir sama dengan kecenderungan sentral yang kuat : cara mengurangi awan titik data menjadi satu titik, sehingga jika banyak titik data dekat dengan beberapa "kebenaran dasar" tetapi sisanya secara sewenang-wenang jauh, maka hasil Anda juga akan mendekati kebenaran dasar. "Breakdown point" dari metode semacam itu adalah sebagian kecil dari outlier yang sewenang-wenang yang dapat ditoleransi. Perbedaannya adalah bahwa dalam kasus Anda, Anda ingin mengganti "hampir" dengan "dalam lambung cembung".

Salah satu cara untuk menangkap ini adalah dengan gagasan kedalaman Tukey. Suatu titik memiliki kedalaman Tukey (sehubungan dengan sekumpulan titik data ) yang diberikan jika setiap setengah ruang yang mengandung titik yang diberikan juga mengandung setidaknya titik data . Jika ada subruang cembung yang bagus yang Anda inginkan di dalamnya, maka titik dengan kedalaman Tukey akan ada di dalamnya selama setidaknya ada dari titik data di dalamnya. Jadi titik rincian dari metode ini adalah nilai yang dapat Anda capai.n p n p ( 1 - p ) n $p$$n$$pn$$p$$(1-p)n$$p$

Sayangnya titik gangguan ini adalah , tidak mendekati 1/2, baik untuk kedalaman Tukey dan untuk masalah Anda. Inilah alasannya: jika data Anda dikelompokkan di dekat simpul simpleks, maka selama kurang dari fraksi dari mereka adalah outlier (tetapi Anda tidak tahu yang mana) maka ada titik di simplex aman untuk dipilih karena akan selalu berada dalam lambung cembung dari yang bukan pencilan. Tetapi jika lebih dari poin dapat outlier, tidak ada tempat yang aman untuk memilih: titik mana pun dalam simpleks yang Anda pilih, outlier dapat semua poin dari simpul simpleks terdekat, dan Anda akan berada di luar lambung non-outlier.d + 1 1 / ( d + 1 ) 1 / ( d + 1 $1/(d+1)$$d+1$$1/(d+1)$$1/(d+1)$

Jika Anda bersedia mentolerir titik gangguan yang lebih buruk, lebih seperti , ada metode acak untuk menemukan titik dalam yang polinomial dalam dan : lihat kertas sayan $O(1/d^2)$$n$$d$

Mendekati titik tengah dengan titik Radon berulang, K. Clarkson, D. Eppstein, GL Miller, C. Sturtivant, dan S.-H. Teng, 9th ACM Symp. Comp. Geom. , San Diego, 1993, hlm. 91–98, Int. J. Comp. Geom. & Appl. 6 (3): 357–377, 1996, http://kenclarkson.org/center/p.pdf

Ini adalah pertanyaan yang rapi dan saya sudah memikirkannya sebelumnya. Inilah yang kami temukan:

Anda menjalankan algoritma Anda kali untuk mendapatkan output x 1 , ⋯ , x n ∈ R d dan Anda tahu apa yang dengan probabilitas tinggi sebagian besar x saya jatuh s ke beberapa baik mengatur G . Anda tidak tahu apa itu G , hanya saja itu cembung. Berita baiknya adalah ada cara untuk mendapatkan poin di G tanpa informasi lebih lanjut tentang itu. Sebut titik ini f ( x 1 , ⋯ , x n ) .$n$$x_1, \cdots, x_n \in \mathbb{R}^d$$x_i$$G$$G$$G$$f(x_1, \cdots, x_n)$

Dalil. Untuk semua bilangan asli dan d , ada fungsi f : ( R d ) n → R d sedemikian rupa sehingga berlaku sebagai berikut. Biarkan x 1 . . . x n ∈ R d dan biarkan G ⊂ R d menjadi set cembung yang memuaskan $n$$d$$f : (\mathbb{R}^d)^n \to \mathbb{R}^d$$x_1 ... x_n \in \mathbb{R}^d$$G \subset \mathbb{R}^d$Kemudianf(x1,...,Xn)∈G. Selain itu,fdapat dihitung dalam polinomial waktu dalamnd. $$\frac{1}{n}\left|\left\{ i \in [n] : x_i \in G \right\}\right| > \frac{d}{d+1}.$$ $f(x_1, ..., x_n) \in G$$f$$n^d$

Perhatikan bahwa, untuk , kita dapat menetapkan f sebagai median. Jadi ini menunjukkan bagaimana cara menggeneralisasi median untuk d > 1 .$d=1$$f$$d>1$

Sebelum membuktikan hasil ini, perhatikan bahwa ini ketat: Misalkan dan biarkan x 1 , ⋯ , x d menjadi elemen basis standar dan x d + 1 = 0 . Setiap bagian dari d poin yang terkandung dalam ruang affine G dimensi d - 1 (yang didefinisikan secara unik oleh titik-titik). Tapi tidak ada poin yang terkandung dalam semua ruang affine itu. Karenanya ada beberapa cembung G yang mengandung n ⋅ d / ( d $n=d+1$$x_1, \cdots, x_d$$x_{d+1}=0$$d$$G$$d-1$$G$ poin tetapi tidak mengandung f ( x 1 , ⋯ , x n ) , nilai apa pun yang diperlukan.$n\cdot d/(d+1)=d$$f(x_1, \cdots, x_n)$

Bukti. Kami menggunakan hasil berikut.

Teorema Helly. Biarkan menjadi himpunan bagian himpunan R d . Misalkan persimpangan setiap d + 1 K i s adalah nonempty. Maka persimpangan semua K i s adalah kosong.$K_1 ... K_m$$\mathbb{R}^d$$d+1$ $K_i$$K_i$

Klik di sini untuk bukti Teorema Helly.

Sekarang untuk membuktikan teorema kita:

Biarkan menjadi batas atas jumlah poin tidak di G . Pertimbangkan semua ruang setengah tertutup K 1 . . . K m ⊂ R d mengandung setidaknya n - k poin dengan mereka mereka batas yang berisi satu set poin dari peringkat maksimal (ini adalah jumlah terbatas halfspaces karena setiap K i didefinisikan oleh d + 1 titik di perbatasan nya).$k<n/(d+1)$$G$$K_1 ... K_m \subset \mathbb{R}^d$$n-k$$K_i$$d+1$

Komplemen dari setiap berisi paling banyak poin k . Dengan ikatan gabungan, persimpangan setiap d + 1 K i memiliki setidaknya n - k ( d + 1 ) > 0 poin. Dengan teorema Helly (karena ruang setengah cembung), ada titik di persimpangan semua K i s . Kita membiarkan f menjadi fungsi yang menghitung titik arbitrer di persimpangan K i s.$K_i$$k$$d+1$ $K_i$$n-k(d+1)$$K_is$$f$$K_i$

Semua yang tetap adalah untuk menunjukkan bahwa persimpangan s terkandung dalam G .$K_i$$G$

Tanpa kehilangan keumuman, adalah lambung cembung dari subset poin dengan peringkat penuh. Artinya, kita dapat mengganti G dengan cembung cembung dari poin yang dikandungnya. Jika ini tidak memiliki peringkat penuh, kita dapat menerapkan teorema kita dalam dimensi yang lebih rendah.$G$$G$

Setiap muka mendefinisikan setengah ruang, di mana G adalah persimpangan setengah ruang ini. Setiap ruang setengah ini mengandung G dan karenanya mengandung setidaknya n - k poin. Batas salah satu dari setengah ruang ini berisi permukaan G dan karenanya berisi satu set titik dengan peringkat maksimal. Jadi masing-masing setengah ruang ini adalah K i . Jadi persimpangan semua K i s terkandung dalam G , seperti yang dipersyaratkan.$G$$G$$G$$n-k$$G$$K_i$$K_i$$G$

Untuk menghitung , buatlah program linier di mana batasan linier terkait dengan K i dan solusi yang layak sesuai dengan titik di persimpangan semua K i . QED$f$$K_i$$K_i$

Sayangnya, hasil ini tidak terlalu praktis dalam pengaturan dimensi tinggi. Pertanyaan yang bagus adalah apakah kita dapat menghitung lebih efisien:$f$

Buka Masalah. Buktikan teorema di atas dengan kesimpulan tambahan bahwa dapat dihitung dalam polinomial waktu dalam n dan d . $f$$n$$d$

Selain itu: Kita juga dapat mengubah masalah untuk mendapatkan solusi yang efisien: Jika memiliki properti yang lebih dari setengahnya terletak di bola B ( y , ε ) , maka kita dapat menemukan titik z yang terletak pada B ( y , 3 ε ) dalam polinomial waktu dalam n dan d . Secara khusus, kita dapat mengatur z = x i untuk arbitrary i sedemikian rupa sehingga lebih dari setengah poin berada di $x_1, \cdots, x_n$$B(y,\varepsilon)$$z$$B(y,3\varepsilon)$$n$$d$$z=x_i$$i$ .$B(z,2\varepsilon)$

Ada gagasan tentang median dari serangkaian titik dalam dimensi tinggi dan norma umum yang dikenal dengan berbagai nama. Hanya titik yang meminimalkan jumlah jarak ke semua titik di set. Hal ini diketahui memiliki properti amplifikasi kepercayaan yang sama seperti median biasa dengan peningkatan multiplikasi kecil di kejauhan. Anda dapat menemukan rinciannya dalam Teorema 3.1 dari makalah ini: http://arxiv.org/pdf/1308.1334.pdf

Satu hal yang menyenangkan dari makalah ini adalah bahwa faktor dimana jarak meningkat dapat dibuat konstan> 1 jika Anda dapat memperkuat dari kepercayaan tinggi yang sewenang-wenang (tetapi konstan <1).

Sunting: ada makalah baru lain tentang topik ini oleh Hsu dan Sabato http://arxiv.org/pdf/1307.1827v6.pdf Sebagian besar menganalisis dan menerapkan prosedur di mana titik di set dengan jarak median terkecil ke yang lain dari poin yang digunakan. Prosedur ini dapat digunakan dengan metrik apa pun tetapi hanya memberikan faktor perkiraan 3.