Batas bawah untuk menguji kedekatan dalam norma ?

11

Saya bertanya-tanya apakah ada batas bawah (dalam hal kompleksitas sampel) yang dikenal untuk masalah berikut:

Diberi contoh akses oracle ke dua distribusi yang tidak diketahui , pada , uji (whp) apakah $D_1$ $D_2$ $\{1,\dots,n\}$

$D_1=D_2$
atau $\operatorname{d_2}(D_1,D_2)=\lVert D_1-D_2\rVert_2 = \sqrt{\sum_{i=1}^n\left(D_1(i)-D_2(i)\right)^2} \geq \epsilon$

Batu et al. [BFR + 00] menunjukkan bahwa sampel $O\left(\frac{1}{\epsilon^4}\right)$ sudah cukup, tetapi saya belum menemukan penyebutan batas bawah?

Saya rasa kita selalu bisa menunjukkan batas bawah $\Omega(\frac{1}{\epsilon^2})$ dengan mengurangi tugas membedakan koin yang sesuai dengan harga vs vs. $\epsilon$ untuk masalah ini (mensimulasikan distribusi yang didukung hanya pada dua poin, dan menjawab pertanyaan dari tester sesuai dengan lemparan koin id), tapi itu masih menyisakan celah kuadrat ...

(Poin lain yang saya tertarik adalah batas bawah dalam memperkirakan (hingga aditif $\epsilon$ ) jarak ini $L_2$ - sekali lagi, saya tidak menemukan referensi untuk hasil seperti itu dalam literatur)

Terima kasih atas bantuan Anda,

— Clement C.
sumber

Masalah janji ini tampaknya sangat mirip dengan yang disebut perbedaan statistik oleh Sahai dan Vadhan, yang merupakan masalah lengkap untuk kelas SZK (pengetahuan nol statistik); Namun, mereka menggunakan jarak . cs.ucla.edu/~sahai/work/web/2003%20Publications/J.ACM2003.pdf . (Sunting: juga saya pikir mereka berasumsi Anda memiliki sirkuit yang menghitung distribusi, bukan akses oracle.)

L_{1}

$L_1$

— usul

Hai, seperti yang disebutkan dalam komentar lain, perbedaan antara norma dan sebenarnya penting di sini - lebih lanjut, dalam makalah ini, mereka menetapkan ambang eksplisit (dan tidak sewenang-wenang) (dalam salah satu pernyataan, mereka menjelaskan bahwa ambang ini perlu memenuhi beberapa batasan tertentu); dan ingin membedakan vs. (yang entah bagaimana lebih dekat dengan pengujian toleran / estimasi jarak dari "pengujian biasa", di mana Anda ingin menguji vs (tapi untuk semua yang diperbaiki )).

L_{2}

$L_2$

L_{1}

$L_1$

τ = 1 / 3

$\tau=1/3$

d_{1} \leq τ

$d_1 \leq \tau$

d_{2} \geq 1 - τ

$d_2 \geq 1-\tau$

d_{2} = 0

$d_2=0$

d_{2} \geq ϵ

$d_2 \geq \epsilon$

ϵ

$\epsilon$

— Clement C.

6

Tampaknya sampel - seperti yang ditunjukkan usul di bawah - cukup untuk pengujian, sehingga kompleksitas sampel tepat ; sebenarnya, ternyata jumlah sampel ini bahkan cukup untuk mempelajari hingga aditif wrt norma . $O(1/\epsilon^2)$ $\Theta(1/\epsilon^2)$ $D$ $\epsilon$ $L_2$

Biarkan menjadi fungsi kerapatan empiris yang diperoleh dengan menggambar iid sampel dan mengatur Kemudian mana . The $\hat{D}$ $m$ $s_1,\dots, s_m\sim D$

\hat{D} (k) \overset{d e f}{=} \frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}}, k \in [n]

$\hat{D}(k) \stackrel{\rm{}def}{=} \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}},\qquad k\in[n]$

\begin{aligned} ‖ D - \hat{D} ‖_{2}^{2} & = \sum_{k = 1}^{n} {(\frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - D (k))}^{2} = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(\sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - m D (k))}^{2} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(X_{k} - E X_{k})}^{2} \end{aligned}

$\begin{align*} \lVert D - \hat{D} \rVert_2^2 &= \sum_{k=1}^n \left( \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - D(k) \right)^2 = \frac{1}{m^2}\sum_{k=1}^n \left( \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - mD(k) \right)^2 \\ &= \frac{1}{m^2}\sum_{k=1}^n \left( X_k - \mathbb{E} X_k \right)^2 \end{align*}$

X_{k} \overset{d e f}{=} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} \sim Bin (m, D (k))

$X_k\stackrel{\rm{}def}{=} \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}}\sim\operatorname{Bin}( m, D(k) )$

X_{k}

$X_k$ (untuk ) tidak independen, tetapi kita dapat menulis sehingga untuk , dan menerapkan ketidaksamaan Markov

k \in [n]

$k\in[n]$

\begin{aligned} E ‖ D - \hat{D} ‖_{2}^{2} & = \frac{1}{m^{2}} \sum_{k = 1}^{n} E [{(X_{k} - E X_{k})}^{2}] = \frac{1}{m^{2}} \sum_{k = 1}^{n} Var X_{k} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} m D (k) (1 - D (k)) \leq \frac{1}{m} \sum_{k = 1}^{n} D (k) \\ = \frac{1}{m} \end{aligned}

$\begin{align*} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 &= \frac{1}{m^2}\sum_{k=1}^n \mathbb{E}\left[ \left( X_k - \mathbb{E} X_k \right)^2 \right] = \frac{1}{m^2}\sum_{k=1}^n \operatorname{Var} X_k \\ &= \frac{1}{m^2}\sum_{k=1}^n mD(k)\left( 1- D(k) \right) \leq \frac{1}{m}\sum_{k=1}^n D(k) \\ &= \frac{1}{m} \end{align*}$

m \geq \frac{3}{ϵ^{2}}

$m\geq \frac{3}{\epsilon^2}$

E ‖ D - \hat{D} ‖_{2}^{2} \leq \frac{ϵ^{2}}{3}

$\begin{equation} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 \leq \frac{\epsilon^2}{3} \end{equation}$

P {‖ D - \hat{D} ‖_{2} \geq ϵ} \leq \frac{1}{3} .

$\begin{equation} \mathbb{P}\left\{ \lVert D - \hat{D} \rVert_2 \geq \epsilon \right\} \leq \frac{1}{3}. \end{equation}$

— Clement C.
sumber

(Saya merujuk pada jawaban usul dimulai dengan "Saya akan berusaha untuk menebus kesalahan saya sebelumnya dengan menunjukkan sesuatu yang berlawanan [...]" - yang sebenarnya di atas yang ini. Saya tidak mengharapkan ini :)) Adapun pembelajaran batas atas, dapat ditunjukkan bahwa algoritma yang paling naif (yaitu, yang menarik sampel , dan menghasilkan kepadatan empiris yang didefinisikan ini) menghasilkan distribusi yang adalah, dengan probabilitas konstan, tutup ke pada jarak .

m = O (1 / ϵ^{2})

$m=O(1/\epsilon^2)$

\hat{D}

$\hat{D}$

ϵ

$\epsilon$

D

$D$

L_{2}

$L_2$

— Clement C.

@ WD Saya baru saja mengedit jawaban saya.

— Clement C.

3

Saya akan mencoba untuk menebus kesalahan saya sebelumnya dengan menunjukkan sesuatu yang berlawanan - bahwa sampel sudah cukup (batas bawah hampir kencang)! Lihat apa yang Anda pikirkan .... $\tilde{\Theta}\left(\frac{1}{\epsilon^2}\right)$ $1/\epsilon^2$

Intuisi kunci dimulai dari dua pengamatan. Pertama, agar distribusi memiliki jarak dari , harus ada titik dengan probabilitas tinggi ( ). Misalnya, jika kita memiliki poin probabilitas , kita akan memiliki . $L_2$ $\epsilon$ $\Omega(\epsilon^2)$ $1/\epsilon^3$ $\epsilon^3$ $\|D_1 - D_2\|_2 \leq \sqrt{\frac{1}{\epsilon^3} (\epsilon^3)^2} = \epsilon^{3/2} < \epsilon$

Kedua, pertimbangkan distribusi seragam dengan jarak dari . Jika kita memiliki poin probabilitas , maka mereka masing-masing akan berbeda dengan dan sampel sudah cukup. Di sisi lain, jika kita memiliki poin, mereka masing-masing harus berbeda dengan dan lagi sampel (jumlah konstan per point) sudah cukup. Jadi kita mungkin berharap bahwa, di antara titik-titik probabilitas tinggi yang disebutkan sebelumnya, selalu ada beberapa titik yang berbeda "cukup" sehingga undian membedakannya. $L_2$ $\epsilon$ $O(1)$ $O(1)$ $O(\epsilon)$ $1/\epsilon^2$ $O(1/\epsilon^2)$ $O(\epsilon^2)$ $O(1/\epsilon^2)$ $O(1/\epsilon^2)$

Algoritma. Diberikan dan parameter keyakinan , misalkan . Gambarkan sampel dari setiap distribusi. Biarkan masing-masing lebih tinggi, jumlah sampel yang lebih rendah untuk titik . Jika ada titik yang dan , nyatakan distro berbeda. Kalau tidak, nyatakan sama. $\epsilon$ $M$ $X = M \log(1/\epsilon^2)$ $\frac{X}{\epsilon^2}$ $a_i,b_i$ $i$ $i \in [n]$ $a_i \geq \frac{X}{8}$ $a_i-b_i \geq \sqrt{a_i} \frac{\sqrt{X}}{4}$

Batas-batas kebenaran dan kepercayaan ( ) bergantung pada lemma berikut yang mengatakan bahwa semua penyimpangan dalam jarak berasal dari titik-titik yang probabilitasnya berbeda dengan . $1-e^{-\Omega(M)}$ $L_2$ $\Omega(\epsilon^2)$

Klaim. Misalkan . Biarkan. Biarkan . Kemudian $\|D_1 - D_2\|_2 \geq \epsilon$ $\delta_i = |D_1(i) - D_2(i)|$ $S_k = \{i : \delta_i > \frac{\epsilon^2}{k}\}$
$\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (1 - \frac{2}{k}) .$ $\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2\left(1-\frac{2}{k}\right).$

Bukti . Kami memiliki Mari kita ikat jumlah kedua; kami ingin memaksimalkan tunduk pada . Karena fungsi benar-benar cembung dan meningkat, kita dapat meningkatkan tujuannya dengan mengambil dan meningkatkan oleh sambil mengurangi oleh . Dengan demikian, tujuan akan dimaksimalkan dengan sebanyak mungkin istilah pada nilai maksimumnya, dan sisanya pada

\sum_{i \in S_{k}} δ_{i}^{2} + \sum_{i \notin S_{k}} δ_{i}^{2} \geq ϵ^{2} .

$\sum_{i \in S_k} \delta_i^2 ~ + ~ \sum_{i \not\in S_k} \delta_i^2 \geq \epsilon^2.$

\sum_{i \notin S_{k}} δ_{i}^{2}

$\sum_{i \not\in S_k} \delta_i^2$

\sum_{i \notin S_{k}} δ_{i} \leq 2

$\sum_{i \not\in S_k} \delta_i \leq 2$

x \mapsto x^{2}

$x \mapsto x^2$

δ_{i} \geq δ_{j}

$\delta_i \geq \delta_j$

δ_{i}

$\delta_i$

γ

$\gamma$

δ_{j}

$\delta_j$

γ

$\gamma$

0

$0$ . Nilai maksimum setiap istilah adalah , dan ada paling banyak syarat dari nilai ini (karena jumlah mereka paling banyak ). Jadi

\frac{ϵ^{2}}{k}

$\frac{\epsilon^2}{k}$

\frac{2 k}{ϵ^{2}}

$\frac{2k}{\epsilon^2}$

2

$2$

\sum_{i \notin S_{k}} δ_{i}^{2} \leq \frac{2 k}{ϵ^{2}} {(\frac{ϵ^{2}}{k})}^{2} = \frac{2 ϵ^{2}}{k} . ◻

$\sum_{i \not\in S_k} \delta_i^2 \leq \frac{2k}{\epsilon^2}\left(\frac{\epsilon^2}{k}\right)^2 = \frac{2\epsilon^2}{k} . ~~~~ \square$

Klaim . Biarkan . Jika , ada setidaknya satu titik dengan dan . $p_i = \max\{D_1(i),D_2(i)\}$ $\|D_1 - D_2\|_2 \geq \epsilon$ $i \in [n]$ $p_i > \frac{\epsilon^2}{4}$ $\delta_i \geq \frac{\epsilon \sqrt{p_i}}{2}$

Bukti . Pertama, semua titik di memiliki menurut definisi (dan tidak boleh kosong untuk dengan klaim sebelumnya). $S_k$ $p_i \geq \delta_i > \frac{\epsilon^2}{k}$ $S_k$ $k > 2$

Kedua, karena , kita memiliki atau, mengatur ulang, sehingga ketidaksetaraan berlaku untuk setidaknya satu titik di . Sekarang pilih . $\sum_i p_i \leq 2$

\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (\frac{1}{2} - \frac{1}{k}) \sum_{i \in S_{k}} p_{i},

$\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right) \sum_{i \in S_k} p_i,$

\sum_{i \in S_{k}} (δ_{i}^{2} - p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})) \geq 0,

$\sum_{i \in S_k} \left( \delta_i^2 - p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)\right) \geq 0 ,$

δ_{i}^{2} \geq p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})

$\delta_i^2 \geq p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)$

S_{k}

$S_k$

k = 4

$k=4$

◻

$\square$

Klaim (positif palsu) . Jika , algoritma kami menyatakan mereka berbeda dengan probabilitas paling banyak . $D_1 = D_2$ $e^{-\Omega(M)}$

Sketsa . Pertimbangkan dua kasus: dan . Dalam kasus pertama, jumlah sampel tidak akan melebihi dari distribusi mana pun: Jumlah rata-rata sampel adalah dan sebuah ekor mengatakan bahwa dengan probabilitas , 's sampel tidak melebihi rata-rata mereka dengan aditif ; jika kita berhati-hati untuk menjaga nilai di dalam tail tail, kita bisa menyatukannya di atas mereka tidak peduli berapa banyak poin yang ada (secara intuitif, batasnya menurun secara eksponensial dalam jumlah kemungkinan poin). $p_i < \epsilon^2/16$ $p_i \geq \epsilon^2/16$ $i$ $X/8$ $< X/16$ $e^{-\Omega(X/p_i)} = \epsilon^2 e^{-\Omega(M/p_i)}$ $i$ $X/16$ $p_i$

Dalam kasus , kita dapat menggunakan batasan Chernoff: Dikatakan bahwa, ketika kita mengambil sampel dan sebuah titik digambar dengan probabilitas , probabilitas berbeda dari rata-rata oleh paling banyak . Di sini, mari , jadi probabilitasnya dibatasi oleh . $p_i \geq \epsilon^2/16$ $m$ $p$ $pm$ $c \sqrt{pm}$ $e^{-\Omega((c\sqrt{pm})^2/pm)} = e^{-\Omega(c^2)}$ $c = \frac{\sqrt{X}}{16}$ $e^{-\Omega(X)} = \epsilon^2 e^{-\Omega(M)}$

Jadi dengan probabilitas , (untuk kedua distribusi) jumlah sampel berada di dalam dari rata-rata . Dengan demikian, pengujian kami tidak akan menangkap poin-poin ini (mereka sangat dekat satu sama lain), dan kami dapat menyatukan semua dari mereka. $1-\epsilon^2e^{-\Omega(M)}$ $i$ $\sqrt{p_i\frac{X}{\epsilon^2}}\frac{\sqrt{X}}{16}$ $p_i\frac{X}{\epsilon^2}$ $16/\epsilon^2$ $\square$

Klaim (negatif palsu) . Jika , algoritme kami menyatakan mereka identik dengan probabilitas paling banyak . $\|D_1 - D_2\|_2 \geq \epsilon$ $\epsilon^2 e^{-\Omega(M)}$

Sketsa . Ada beberapa poin dengan dan . Chernoff yang sama terikat seperti pada klaim sebelumnya mengatakan bahwa dengan probabilitas , jumlah sampel berbeda dari rata-rata oleh paling banyak . Itu untuk (WLOG) distribusi yang memiliki ; tetapi ada kemungkinan yang lebih rendah lagi dari jumlah sampel dari distribusi $i$ $p_i > \epsilon^2/4$ $\delta_i \geq \epsilon \sqrt{p_i}/2$ $1-\epsilon^2 e^{-\Omega(M)}$ $i$ $p_i m$ $\sqrt{p_i m} \frac{\sqrt{X}}{16}$ $1$ $p_i = D_1(i) = D_2(i) + \delta_i$ $i$ $2$ berbeda dari rata-rata dengan jumlah aditif ini (karena rata-rata dan varians lebih rendah).

Jadi dengan probabilitas tinggi, jumlah sampel dari setiap distribusi berada dalam dari rata-rata; tetapi probabilitasnya berbeda dengan , jadi berarti mereka berbeda dengan $i$ $\sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{16}$ $\delta_i$

\frac{X}{ϵ^{2}} δ_{i} \geq \frac{X \sqrt{p_{i}}}{2 ϵ} = \sqrt{\frac{p_{i} X}{ϵ^{2}}} \frac{\sqrt{X}}{2} .

$\frac{X}{\epsilon^2}\delta_i \geq \frac{X \sqrt{p_i}}{2\epsilon} = \sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{2} .$

Jadi dengan probabilitas tinggi, untuk poin , jumlah sampel berbeda setidaknya dengan . $i$ $\sqrt{\# samples(1)} \frac{\sqrt{X}}{4}$ $\square$

Untuk menyelesaikan sketsa, kita perlu menunjukkan dengan lebih teliti bahwa, untuk cukup besar, jumlah sampel cukup dekat dengan artinya, ketika algoritma menggunakan daripada , itu tidak mengubah apa pun (yang seharusnya langsung dengan meninggalkan ruang gerak di konstanta). $M$ $i$ $\sqrt{\# samples}$ $\sqrt{mean}$

— usul
sumber

Hai, Terima kasih untuk ini - Saya punya beberapa pertanyaan tentang algoritma dan analisisnya (mengenai beberapa poin yang saya tidak yakin dapatkan): dengan asumsi saya hanya ingin pada akhirnya probabilitas konstan dari kesuksesan, itu berarti bahwa konstan, jika saya mengerti dengan benar (kecuali saya tidak mendapatkan apa itu )? Jadi dalam kasus ini, beralih ke : menurut algoritma, itu menjadi - apakah itu benar?

2 / 3

$2/3$

M

$M$

M

$M$

X

$X$

Θ (\log \frac{1}{ϵ})

$\Theta(\log\frac{1}{\epsilon})$

— Clement C.

@ClementC. Maaf saya tidak begitu jelas! Klaimnya adalah bahwa jika kita menggambar sampel, maka kemungkinan kesalahan adalah , jadi untuk probabilitas konstan salah, sampel .

\frac{1}{ϵ^{2}} M \log (1 / ϵ^{2})

$\frac{1}{\epsilon^2} M \log(1/\epsilon^2)$

O (e^{- M})

$O(e^{-M})$

O (\frac{1}{ϵ^{2}} \log (1 / ϵ^{2}))

$O\left(\frac{1}{\epsilon^2} \log(1/\epsilon^2)\right)$

— usul

Oke, itu yang saya kumpulkan. Saya akan memeriksa buktinya dengan mengingat hal ini - terima kasih lagi untuk waktu yang Anda habiskan untuk ini!

— Clement C.

1

Anda mungkin mulai dengan mencoba menyelesaikan ini untuk kasus . Saya cukup yakin sampel akan diperlukan dan cukup, dalam hal ini. $n=2$ $\Theta(1/\epsilon^2)$

Mungkin saja Anda merasa perlu untuk melihat konversi antara jarak dan jarak (jarak variasi total). $L_2$ $L_1$

Diketahui bahwa, dengan satu sampel, jika distribusinya diketahui, jarak variasi total dengan sempurna mencirikan keunggulan yang dengannya seseorang dapat membedakan dari . Dengan demikian, jika jarak variasi total besar dan distribusinya diketahui, seseorang dapat membuat tes yang benar dengan probabilitas tinggi; jika jarak variasi total kecil, kita tidak bisa. Saya tidak tahu apa yang bisa dikatakan tentang kasus di mana jarak variasi total besar tetapi distribusinya tidak diketahui. $D_1$ $D_2$
Selanjutnya Anda mungkin melihat distribusi produk, dan . Menggunakan total variasi jarak (jarak ), sepertinya tidak ada batasan bagus yang terkait dengan hingga . Namun, ketika menggunakan jarak , saya percaya ada perkiraan yang baik dari sebagai fungsi . (Sayangnya, sepertinya saya tidak bisa menggali referensi spesifik untuk perkiraan / batas tersebut, jadi saya harap saya tidak salah mengingat.) Ada juga batas yang diketahui yang memungkinkan Anda memperkirakan jarak sebagai fungsi dari jarak . $D_1^n$ $D_2^n$ $L_1$ $||D_1^n - D_2^n||_1$ $||D_1 - D_2||_1$ $L_2$ $||D_1^n - D_2^n||_2$ $||D_1 - D_2||_2$ $L_1$ $L_2$
Oleh karena itu, satu pendekatan yang mungkin Anda coba adalah mengikat , kemudian dari itu mendapatkan terikat pada . $||D_1^n - D_2^n||_2$ $||D_1^n - D_2^n||_1$

Saya tidak tahu apakah ini akan membawa hasil yang baik atau tidak; itu hanya sebuah ide. Mungkin penulis makalah yang Anda kutip sudah mencoba atau mempertimbangkan sesuatu seperti ini.

Referensi yang mungkin bermanfaat:

— DW
sumber

Hai, Terima kasih atas jawaban Anda! Namun, saya tertarik pada batas bawah asimptotik, ketika . Secara khusus, hubungan antara norma dan melibatkan faktor - yang berarti mereka memang setara untuk konstan, tetapi secara asimtotik sangat berbeda; menggunakan sebagai proxy bukanlah pilihan, sejauh yang saya tahu (seperti untuk menguji kedekatan dalam jarak , kompleksitas tepatnya dikenal sebagai [BFR + 10 , Val11 ]

n \to \infty

$n\to\infty$

L_{2}

$L_2$

L_{1}

$L_1$

\sqrt{n}

$\sqrt{n}$

n

$n$

L_{1}

$L_1$

L_{1}

$L_1$

Θ (n^{2 / 3} / p o l y (ϵ))

$\Theta(n^{2/3}/{\rm{}poly}(\epsilon))$

— Clement C.

0

EDIT: ini tidak benar! Lihat diskusi di komentar - Saya akan menunjukkan kelemahan di bawah ini.

Saya pikir kita dapat mengatakan bahwa diperlukan. $\frac{1}{\epsilon^4}$

Set . Biarkan menjadi distribusi seragam (probabilitas setiap titik ) dan biarkan berbeda dari seragam dengan jumlah aditif di setiap titik. Periksa bahwa jarak adalah . $n = \Theta\left(\frac{1}{\epsilon^2}\right)$ $D_1$ $= \Theta(\epsilon^2)$ $D_2$ $\pm \Theta\left(\epsilon^2\right)$ $L_2$ $\epsilon$

Jadi kita harus membedakan koin adil sided dari koin sided . Saya pikir ini setidaknya harus sekeras mengatakan koin adil sisi dari koin sisi , yang membutuhkan sampel. Sunting: ini salah! Koin itu bersifat additive , tetapi ia bias secara ganda dengan faktor konstan. Seperti yang ditunjukkan DW, itu berarti bahwa jumlah sampel konstan per titik membedakan dari . $n$ $n$ $\Theta(\epsilon^2)$ $2$ $2$ $\Theta(\epsilon^2)$ $\Theta\left(\frac{1}{(\epsilon^2)^2}\right) = \Theta\left(\frac{1}{\epsilon^4}\right)$ $\epsilon^2$ $D_1$ $D_2$

Perhatikan bahwa sejauh yang bisa kita dorong argumen ini. Konkretnya, misalkan kita mencoba meningkatkan menjadi, katakanlah, . Dalam distribusi seragam, setiap titik memiliki probabilitas . Tetapi dalam , kita perlu setiap titik berbeda dari seragam oleh . Itu tidak mungkin karena . $\frac{1}{\epsilon^4}$ $n$ $\frac{1}{\epsilon^3}$ $\epsilon^3$ $D_2$ $\epsilon^{2.5}$ $\epsilon^{2.5} \gg \epsilon^3$

Secara lebih abstrak, anggaplah kita ingin setiap titik berbeda dari seragam oleh . Maka yang paling bisa kita atur adalah . Untuk mendapatkan jarak dari , kita perlu memastikan bahwa akar kuadrat dari jumlah jarak adalah , jadi , jadi jadi , dan kita mendapatkan . $\epsilon^k$ $n$ $\frac{1}{\epsilon^k}$ $L_2$ $\epsilon$ $\epsilon$ $\sqrt{n(\epsilon^k)^2} = \epsilon$ $\epsilon^{k/2} = \epsilon$ $k = 2$ $n = \frac{1}{\epsilon^2}$

Juga, saya pikir argumen yang sama mengatakan bahwa, jika kami tertarik pada jarak dengan , kami memerlukan , jadi kami akan memilih , sehingga jumlah sampel akan menjadi . Saya pikir ini masuk akal sebagai batasan yang tidak bergantung pada . Ia mendekati infinity sebagai . Jika Anda mencoba untuk membedakan dua distribusi pada jarak dari tanpa terikat pada , saya akan membuat besar tanpa batas dan menyebar perbedaannya secara sewenang-wenang, sehingga Anda tidak akan pernah bisa membedakannya ( $L_p$ $p > 1$ $k = \frac{p}{p-1}$ $n = 1/\epsilon^{\frac{p}{p-1}}$ $1 / \epsilon^{2\frac{p}{p-1}}$ $n$ $p \to 1$ $L_1$ $\epsilon$ $n$ $n$ yaitu tidak ada jumlah sampel yang tetap yang mencukupi untuk semua ). Itu juga mendekati sebagai ; ini masuk akal sebagai terikat karena, untuk norma , kita dapat mengatur dan membiarkan setiap titik berbeda dengan ; kita perlu mengambil sampel beberapa titik kali untuk memastikan itu berbeda dari seragam, yang akan mengambil sampel . $n$ $\frac{1}{\epsilon^3}$ $p \to \infty$ $L_{\infty}$ $n = \frac{1}{\epsilon}$ $\Theta(\epsilon)$ $\frac{1}{\epsilon^2}$ $\frac{1}{\epsilon^3}$

— usul
sumber

1. Apakah maksud Anda bahwa berbeda dari seragam pada di setiap titik? Saya menduga itu salah ketik dan Anda berarti .

D_{2}

$D_2$

\pm 1 / ϵ^{2}

$\pm 1/\epsilon^2$

\pm ϵ^{2}

$\pm \epsilon^2$

— DW

1

2. Saya tidak membeli bahwa yang membedakan dari membutuhkan sampel. Bagi saya sepertinya sampel sudah cukup. Penjelasan (intuisi): misalkan kita mengumpulkan sampel dan menghitung berapa kali setiap nilai yang mungkin terjadi. Jika mereka berasal dari , masing-masing harus muncul 100 kali (dengan std dev 10). Jika mereka berasal dari , masing-masing harus muncul 200 kali (std dev 14) untuk setengahnya, / 0 kali (std dev 0) untuk setengah lainnya. Cukup mudah untuk membedakan keduanya, jika Anda tahu Anda berurusan dengan atau .

D_{1}

$D_1$

D_{2}

$D_2$

1 / ϵ^{4}

$1/\epsilon^4$

Θ (1 / ϵ^{2})

$\Theta(1/\epsilon^2)$

m = 100 / ϵ^{2}

$m=100/\epsilon^2$

D_{1}

$D_1$

D_{2}

$D_2$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW (1) Anda benar! Tetap. (2) Seperti yang Anda katakan, saya setuju, tetapi saya pikir dengan pilihan konstanta yang berbeda, itu lebih sulit. Saya membayangkan sesuatu seperti ini: , jadi menempatkan probabilitas pada setiap titik. Kemudian berbeda dengan pada setiap titik (periksa bahwa jarak adalah ), sehingga menempatkan probabilitas atau pada setiap titik.

n = 1 / 100 ϵ^{2}

$n = 1/100\epsilon^2$

D_{1}

$D_1$

100 ϵ^{2}

$100\epsilon^2$

D_{2}

$D_2$

10 ϵ^{2}

$10\epsilon^2$

L_{2}

$L_2$

ϵ

$\epsilon$

90 ϵ^{2}

$90\epsilon^2$

110 ϵ^{2}

$110\epsilon^2$

— usul

1

Saya pikir sampel masih cukup. Kumpulkan sampel, dan hitung berapa kali setiap nilai yang mungkin terjadi. Untuk , masing-masing harus muncul 1.000.000 kali (std dev ). Untuk , masing-masing harus muncul 900.000 kali (std dev ) atau 1.100.000 kali (std dev ). Itu cukup mudah untuk membedakan antara keduanya, jika kita tahu kita berurusan dengan atau , karena perbedaan antara 1.000.000 dan 1.100.000 adalah 100 standar deviasi, yaitu sangat besar.

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

m = 10^{6} n

$m=10^6n$

D_{1}

$D_1$

1000

$1000$

D_{2}

$D_2$

\approx 1000

$\approx 1000$

\approx 1000

$\approx 1000$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@ WD Saya lebih memikirkannya - Anda benar. Jika cara mereka berbeda dengan faktor multiplikasi konstan maka jumlah sampel per titik yang konstan harus membedakannya. Faktor multiplikasi bukan aditif yang penting. Pendekatan ini kemudian hanya memberikan batas bawah .

1 / ϵ^{2}

$1/\epsilon^2$

— usul