Batas bawah pada estimasi

Saya ingin tahu (terkait dengan pertanyaan lain ini ) apakah batas bawah diketahui untuk masalah pengujian berikut: seseorang diberi akses permintaan ke urutan nomor non-negatif $a_n \geq \dots\geq a_1$ dan $\varepsilon \in (0,1)$ , dengan janji bahwa $\sum_{k=1}^n a_k = 1$ atau $\sum_{k=1}^n a_k \leq 1-\varepsilon$ .

Berapa banyak query (pencarian) yang cukup dan diperlukan untuk (adaptif) algoritma acak untuk membedakan antara dua kasus, dengan probabilitas setidaknya $2/3$ ?

Saya telah menemukan posting sebelumnya yang memberikan batas atas logaritmik (dalam $n$ ) untuk masalah terkait perkiraan jumlah, dan kira-kira pencocokan batas bawah pada masalah itu untuk algoritma deterministik; tetapi tidak dapat menemukan hasil untuk masalah spesifik yang saya pertimbangkan (khususnya, algoritma acak).

Sunting: Mengikuti jawaban di bawah ini, saya kira saya seharusnya lebih jelas: di atas (dan khususnya dalam asimptotik untuk batas bawah), $n$ adalah kuantitas "utama" yang terlihat sebagai tak terhingga, sedangkan $\varepsilon$ adalah (sewenang-wenang kecil) ) konstan.

reference-request randomized-algorithms property-testing

— Clement C.
sumber

Saya kira maksud Anda

\sum_{k = 1}^{n} a_{k} \leq 1 - ε

$\sum_{k=1}^n a_k \leq 1-\varepsilon$

— RB

Memang - memperbaikinya.

— Clement C.

Nah, tanpa urutan ketergantungan pada

akan diperlukan, saya rasa (dengan atau tanpa sampling). Sebuah "buruk" contoh (sepasang urutan) akan misalnya urutan dengan semua

's yang sama dengan

n

$n$

a_{k}

$a_k$

, kecuali untuk satu (sewenang-wenang, random)

sehingga

adalah baik sama untuk

(di urutan pertama) dan

(di kedua). Tanpa

query, dua sekuens tidak dapat dipisahkan ...

\frac{1 - ε}{n - 1}

$\frac{1-\varepsilon}{n-1}$

j

$j$

a_{j}

$a_j$

ε

$\varepsilon$

0

$0$

Ω (n)

$\Omega(n)$

— Clement C.

Saya berasumsi Model permintaan memungkinkan Anda untuk memilih

yang Anda query

, apakah ini benar?

k

$k$

a_{k}

$a_k$

— kodlu

Ya (Anda bisa memilih titik mana yang ingin Anda "ungkapkan").

— Clement C.

Jawaban:

Inilah batas bawah yang bisa saya tunjukkan. Aku dugaan bahwa untuk tetap , hak batas bawah adalah , tapi tentu saja aku mungkin salah. $\epsilon$ $\Omega( \log n)$

Saya akan menggunakan urutan menurun (hanya untuk kenyamanan). Mekanisme dasarnya adalah memecah urutan menjadi blok Dalam blok ke- akan ada elemen (yaitu, ). $L$ $i$ $n_i$ $\sum_i n_i = n$

Berikut ini, kami ingin algoritma berhasil dengan probabilitas , untuk beberapa parameter . $\geq 1-\delta$ $\delta >0$

Batas bawah pertama: . $\displaystyle \Omega\left( \frac{1}{\epsilon} \log \frac{1}{\delta} \right)$

The blok th memiliki elemen, sehingga . Kami menetapkan nilai semua elemen di blok ke - menjadi , di mana adalah variabel yang bernilai atau . Jelas, jumlah total urutan ini adalah $i$ $n_i = 2^{i-1}$ $L = \lg n$ $i$ $(1+X_i)/(2n_iL)$ $X_i$ $0$ $1$ Bayangkan memilih setiapdengan probabilitasmenjadidansebaliknya. Untuk memperkirakan, kita membutuhkan estimasiandal. Dalam partikulat, kami ingin dapat membedakan basisdan, katakanlah,.

α = \sum_{i = 1}^{L} \frac{1 + X_{i}}{2 n_{i} L} = \frac{1}{2} + \frac{1}{2 L} (\sum_{i = 1}^{L} X_{i}) .

$\alpha = \sum_{i=1}^L \frac{1+X_i}{2n_i L} = \frac{1}{2} + \frac{1}{2L}\left(\sum_{i=1}^L X_i \right).$

X_{i}

$X_i$

β

$\beta$

1

$1$

0

$0$

α

$\alpha$

β

$\beta$

β = 1 - 4 ϵ

$\beta = 1-4\epsilon$

β = 1

$\beta=1$

Sekarang, bayangkan sampel dari variabel-variabel acak, dan biarkan menjadi variabel sampel. Pengaturan (perhatikan, bahwa kami mengambil jumlah variabel komplemen ), kami memiliki , dan ketidaksamaan Chernoff memberi tahu kami bahwa jika $m$ $Z_1, \ldots, Z_m$ $Y = \sum_{i=1}^m (1-X_i)$ $\mu = E[Y] = (1-\beta) m$ , maka , dan probabilitas kegagalan adalah Untuk membuat jumlah ini lebih kecil dari $\beta =1-4\epsilon$ $\mu = 4\epsilon m$

P [Y \leq 2 ϵ m] = P [Y \leq (1 - 1 / 2) μ] \leq \exp (- μ (1 / 2)^{2} / 2) = \exp (- ϵ m / 2) .

$P\left[ Y \leq 2\epsilon m \right] = P\left[ Y \leq (1-1/2) \mu \right] \leq \exp \left( -\mu (1/2)^2 / 2 \right) = \exp \left( -\epsilon m / 2 \right).$

, kita perlu

δ

$\delta$

m \geq \frac{2}{ϵ} \ln \frac{1}{δ}

$\displaystyle m \geq \frac{2}{\epsilon} \ln \frac{1}{\delta}$

Pengamatan utama adalah bahwa ketimpangan Chernoff ketat (kita harus hati-hati, karena tidak benar untuk semua parameter, tetapi itu benar dalam hal ini), sehingga Anda tidak dapat melakukan lebih baik dari itu (hingga konstanta).

Batas bawah kedua: . $\Omega( \log n / \log \log n)$

Mengatur th ukuran blok menjadi , di mana adalah jumlah blok. Elemen dalam blok ke- memiliki nilai . Jadi jumlah total nilai dalam urutan adalah . $i$ $n_i = L^i$ $L = \Theta( \log n / \log \log n)$ $i$ $\alpha_i = \Bigl(1/L\Bigr)/n_i$ $1$

Sekarang, kita mungkin memutuskan untuk memilih blok arbitrer, katakan yang , dan set semua nilai dalam bloknya menjadi (bukan ). Ini meningkat kontribusi dari th blok dari untuk , dan meningkatkan massa total urutan ke (hampir) . $j$ $\alpha_{j-1} = L \alpha_j$ $\alpha_j$ $j$ $1/L$ $1$ $2$

Sekarang, secara informal, algoritma acak apa pun harus memeriksa nilai di masing-masing blok. Karena itu, ia harus membaca setidaknya nilai dari urutan. $L$

Untuk membuat argumen di atas lebih formal, dengan probabilitas , memberikan urutan asli dari massa sebagai input (kita sebut ini sebagai masukan asli). Jika tidak, pilih secara acak blok yang memiliki nilai tambah (input yang dimodifikasi). Jelas, jika algoritma acak membaca kurang dari, katakanlah, entri, ia memiliki probabilitas (kira-kira) untuk mendeteksi input dimodifikasi. Dengan demikian, probabilitas algoritma ini gagal, jika membaca kurang dari entri setidaknya $p=1/2$ $1$ $L/8$ $1/8$ $L/8$

(1 - p) (7 / 8) > 7 / 16 > 1 / 3.

$(1-p)(7/8) > 7/16 > 1/3.$

PS Saya pikir dengan lebih berhati-hati tentang parameter, batas bawah pertama dapat ditingkatkan menjadi . $\Omega(1/\epsilon^2)$

— Sariel Har-Peled
sumber

Terima kasih untuk ini! Saya punya pertanyaan kecil mengenai yang pertama,

lb (lebih khusus kemungkinan perbaikan kuadratik). Karena kita memiliki masalah janji satu sisi di sini, yang menyiratkan bahwa begitu algoritma "melihat" nilai apa pun yang memberikan bukti bahwa

, ia dapat menyimpulkan tanpa harus mendapatkan perkiraan yang lebih akurat dari

: tidak yang berarti bahwa

optimal untuk pembangunan ini, karena pada dasarnya yang diharapkan baik semua

's menjadi 1, atau setidaknya

fraksi tidak menjadi?

Ω (1 / ϵ)

$\Omega(1/\epsilon)$

β < 1

$\beta < 1$

β

$\beta$

1 / ϵ

$1/\epsilon$

X_{i}

$X_i$

ϵ

$\epsilon$

— Clement C.

Ya. Jika Anda reli hanya ingin membedakan antara 1 dan 1-epsilon maka tentu saja Anda tidak dapat meningkatkan batas bawah ... Saya berpikir tentang mencoba membedakan rentang lain ... s

— Sariel Har-Peled

Batas bawah

$\Omega(1/\sqrt{\epsilon})$

$a_1,\dots,a_n$ $\epsilon,2\epsilon,3\epsilon,4\epsilon,\dots$ $n$ $a_1+\dots+a_n = 1$ $n \approx 1/\sqrt{2\epsilon}$

Sekarang buat urutan baru $a'_1,\dots,a'_n$ $\epsilon$ $a'_1=a_1$ $a'_2=a_2$ $a'_i = a_i - \epsilon$ $a'_1 + \dots + a'_n = 1-\epsilon$

$a_1,\dots,a_n$ $a'_1,\dots,a'_n$ $i$ $\Omega(n)$ $n \approx 1/\sqrt{2\epsilon}$ $\Omega(1/\sqrt{\epsilon})$

Batas atas

$O(\lg(n/\epsilon) [\lg n + 1 / \epsilon^2])$

$[0,1]$

[0, 1] = [0, 0.25 ϵ / n] \cup (0.25 ϵ / n, 0.5 ϵ / n] \cup (0.5 ϵ / n, ϵ / n] \cup (ϵ / n, 2 ϵ / n] \cup (2 ϵ / n, 4 ϵ / n] \cup \dots \cup (\dots, 1] .

$[0,1] = [0,0.25\epsilon/n] \cup (0.25\epsilon/n,0.5\epsilon/n] \cup (0.5\epsilon/n,\epsilon/n] \cup (\epsilon/n,2\epsilon/n] \cup (2\epsilon/n,4\epsilon/n] \cup \dots \cup (\ldots,1].$

$a_i$ $a_i$ $a_i$ $[\ell,u]$ $i,j$ $a_i,\dots,a_j \in [\ell,u]$ $O(\lg(n/\epsilon))$

Sekarang, kami akan memperkirakan jumlah nilai di setiap rentang. Rentang pertama akan ditangani secara terpisah dari yang lainnya:

$[0,0.25\epsilon/n)$ $0$ $m \times 0.25\epsilon/n$ $m$ $m \le n$ $0.25 \epsilon$
$\delta$ $O(1/\delta^2)$ $2 \times$ $\delta = 0.25 \epsilon$

$0.25 \epsilon$ $0.25 \epsilon$ $\le 0.5 \epsilon$ $1$ $1-\epsilon$

— DW
sumber

Terima kasih - ini terlihat menarik (sejauh yang saya tahu, itu bukan pendekatan yang sama seperti yang digunakan dalam makalah / diskusi yang dikaitkan di atas), dan saya akan melihat lebih dalam pada apa yang Anda tulis. Namun, saya mencari batas bawah daripada batas atas - yaitu, berapa banyak permintaan yang diperlukan .

— Clement C.

(Karena waktu sudah habis, saya menghadiahkan "karunia" untuk jawabannya - meskipun saya masih mencari referensi untuk batas bawah, jika ada satu tempat di sana.)

— Clement C.

@ClementC., Saya menambahkan batas bawah, sesuai permintaan Anda.

— DW

n

$n$

ε

$\varepsilon$