Memecahkan hubungan perulangan dengan dua panggilan rekursif

Saya sedang mempelajari runtime quicksort kasus terburuk dengan syarat bahwa ia tidak akan pernah melakukan partisi yang sangat tidak seimbang untuk berbagai definisi sangat .

Untuk melakukan ini, saya bertanya pada diri sendiri pertanyaan apa runtime $T(n, p)$ akan terjadi dalam kasus quicksort selalu terjadi pada partisi di sebagian kecil $0 < p \leq {1\over 2}$ sehingga $\lfloor{p(n-1)}\rfloor$ berada di partisi kiri dan $\lceil(1 - p)(n - 1)\rceil$ berada di partisi kanan (menyisakan $1$ elemen, pivot, di tengah).

Seharusnya tidak sulit untuk melihat bahwa $T(n, p)$ memberikan batas atas untuk kasus terburuk di mana $p$ adalah partisi yang dibiarkan tidak seimbang secara maksimal, karena setiap partisi dengan fraksi $> p$ akan lebih seimbang dan memiliki runtime yang lebih kecil, dan fraksi apa pun $<p$ tidak diizinkan.

Sudah jelas bahwa $T(n, {1 \over 2})$ adalah kasus terbaik dan $T(n, 0)$ adalah kasus terburuk quicksort. Keduanya memiliki hubungan rekurensi yang mudah ditemukan dalam sumber daya pendidikan apa pun. Tapi saya tidak tahu bagaimana mempelajari $T(n, p)$ secara umum. Hubungan yang jelas adalah:

T (n, p) = n + T (⌊ p (n - 1) ⌋, p) + T (⌈ (1 - p) (n - 1) ⌉, p)

$T(n, p) = n + T(\lfloor{p(n-1)}\rfloor, p) + T(\lceil(1 - p)(n - 1)\rceil, p)$

Di sini saya macet. Saya sudah mencoba mencari di sekitar, tetapi semua literatur yang saya bisa mengerti tentang algoritma divide and conquer mengambil "divide" secara harfiah dan "menipu" analisis menggunakan fakta bahwa partisi selalu dalam ukuran yang sama, menggabungkan istilah menjadi satu kali konstan.

Saya tidak tahu bagaimana menangani dua panggilan rekursif, dan saya tidak tahu apakah aman untuk menghapus pembulatan. Apakah ini mungkin diselesaikan secara analitis, dan jika ya, bagaimana?

PS: Saya tidak tertarik pada asimptotik (yang mudah ditunjukkan untuk konstan ). Saya tertarik pada seberapa cepat quicksort menjadi ketika semakin kecil, misalnya saya tertarik pada rasio $\Theta(n \log n)$ $p$ $p$ . $T(n, 0.25) \over T(n, 0.5)$

PPS: Sebagai seorang mahasiswa sarjana, saya minta maaf jika saya telah membuat hal-hal yang nontrivialities terlalu panjang atau tidak jelas. Dan sementara saya tidak tahu apakah ini dipandang rendah seperti situs SE lainnya, saya akan perhatikan bahwa ini adalah kepentingan pribadi, bukan pekerjaan rumah.

algorithm-analysis runtime-analysis recurrence-relation

— orlp
sumber

Seperti yang Anda sebutkan, teorema Akra-Bazzi menunjukkan bahwa solusi untuk pengulangan $T(n,p)$ adalah untuk semua . Namun, ini tidak mengungkapkan sifat ketergantungan pada . Untuk menentukan yang terakhir, kita bisa menggunakan pendekatan pohon rekursi. $O(n\log n)$ $p \in (0,1)$ $p$

Pada akar pohon rekursi adalah interval . Dua anaknya adalah interval $\{1,\ldots n\}$ $\{1,\ldots,pn\}$ dan , yang panjang totalnya lagi . Masing-masing node memiliki dua anak (dengan asumsi cukup besar), dan seterusnya. Untuk kesederhanaan kita mengabaikan kesalahan pembulatan, yaitu, kita menganggap bahwa $\{pn+1,\ldots,n\}$ $n$ $n$ $pn$ adalah bilangan bulat; ini hanya masalah teknis, dan saya tidak akan mengkhawatirkannya. Kami menghentikan proses setiap kali satu simpul memiliki panjang paling banyak . Kompleksitas algoritma sebanding dengan total panjang interval di pohon. Ketika , yang daun (node di mana kita menghentikan proses) memiliki kedalaman yang berbeda, dan yang membuat lebih sulit untuk menentukan kompleksitas keseluruhan. $1$ $p \neq 1/2$

Kita dapat memperoleh batas atas sederhana dengan mencatat bahwa pohon memiliki paling banyak tingkat : setiap node setidaknya merupakan faktor lebih kecil dari induknya. Sama seperti dalam analisis untuk , total panjang interval di tingkat manapun adalah paling , dan kami memperoleh batas atas $\log_{1-p} (1/n)$ $1-p$ $p = 1/2$ $n$ pada waktu berjalan. Sejak $O(n\log_{1-p} (1/n))$ danuntukkecil, kita dapat menulis ini sebagai. $\log_{1-p} (1/n) = \log n/\log (1-p)^{-1}$ $\log (1-p)^{-1} = -\log (1-p) = p \pm O(p^2)$ $p$ $O(n\log n/p)$

Berikut ini perhitungan yang lebih akurat. Pertimbangkan level . Misalkan kita tidak menghentikan proses setelah mencapai interval kecil. Kita dapat menghasilkan simpul acak dengan mengambil langkah , di mana masing-masing kita ke kiri (katakanlah) dengan probabilitas dan kanan (katakanlah) dengan probabilitas . Setiap kali kita mengambil langkah ke kiri log dari panjang interval berkurang dengan , dan setiap kali kita mengambil langkah yang tepat ia mengurangi by . Sebuah vertex berada di pohon aktual dari log yang panjangnya berkurang paling banyak $t$ $t$ $p$ $1-p$ $-\log p$ $-\log (1-p)$ $\log n$ . Berat total interval pada level dari pohon adalah probabilitas tepat bahwa suatu simpul yang dihasilkan menurut proses ini sesuai dengan penurunan paling banyak . Yaitu, jika adalah distribusi yang sama dengan dengan probabilitas dan to dengan probabilitas , dan independen, maka total bobot dari level adalah $t$ $\log n$ $D$ $-\log p$ $p$ $-\log(1-p)$ $1-p$ $X_1,\ldots,X_t \sim D$ $t$ . Untuk super-konstan, variabel acak kira-kira terdistribusi normal dengan rata-rata $\Pr[X_1+\cdots+X_t \leq \log n]$ $t$ $X_1+\cdots+X_t$ dan varians linier dalam , jadi untukmemuaskan $[-p\log p-(1-p)\log(1-p)]t$ $t$ $t$ , katakanlah, probabilitas akan sangat dekat dengan , sedangkan untuk memuaskan , katakanlah, itu akan sangat mendekati nol. Mendefinisikan $[-p\log p-(1-p)\log(1-p)]t \leq (\log n)/2$ $1$ $t$ $[-p\log p-(1-p)\log(1-p)]t \geq 2\log n$ (dikenal sebagai fungsi entropi biner), kami menyimpulkan bahwa waktu berjalan adalah (seragam dalam , seperti ). Sebagai kita memiliki $h(p) = -p\log p-(1-p)\log(1-p)$ $\Theta(n\log n/h(p))$ $p$ $n\to\infty$ $p\to 0$ $h(p) \approx -p\log p$ , dan perkiraan kami sebelumnya tidak ketat.

Cara lain untuk melihat pada analisis yang sama adalah dengan memiliki urutan yang tak terbatas dari variabel acak independen seperti sebelumnya, dan mendefinisikan menghentikan waktu untuk menjadi pertama kalinya sehingga . Waktu berjalan kemudian sebanding dengan . Teorema pembaruan dasar kemudian menyatakan bahwa $X_1,X_2,\ldots$ $T$ $t$ $X_1 + \cdots + X_t \geq \log n$ $n\mathbb{E}[T]$ , menyiratkan bahwa ukuran total interval sama dengan $\lim_{n\to\infty} \mathbb{E}[T]/\log n = 1/\mathbb{E}[D] = 1/h(p)$ . Lebih akurat, untuk setiap konstan, ukuran total interval adalah , di mana $(1+o(1))n\log n/h(p)$ $p$ $(1+\alpha_p(n))n\log n/h(p)$ . Konvergensi dalam teorema pembaruan elementer adalah eksponensial dalam parameter waktu - dalam kasus kami - jadi harus polinomial dalam , yaitu, . Konvergensi juga mungkin seragam untuk untuk . $\alpha_p(n) = o(n)$ $\log n$ $n$ $\alpha_p(n) = O(n^{-C_p})$ $p \in (\delta,1-\delta)$ $\delta > 0$

Ringkasnya, panjang total interval dalam pohon rekursi, yang sebanding dengan waktu berjalan, adalah dari bentuk berikut untuk setiap : $p$ manadandibawa ke basis yang sama, danadalah fungsi tergantung padadan cenderungdengan.

T (n, p) = (1 + o (1)) \frac{n \log n}{h (p)},

$T(n,p) = (1+o(1)) \frac{n\log n}{h(p)},$

\log n

$\log n$

h (p) = - p \log p - (1 - p) \log (1 - p)

$h(p) = -p\log p-(1-p)\log(1-p)$

o (1)

$o(1)$

p

$p$

0

$0$

n

$n$

Selain itu, mungkin benar bahwa untuk dan memang benar bahwa total panjang interval adalah dalam bentuk $\delta > 0$ $p \in (\delta,1-\delta)$ manadan konstanta O besar tersembunyi hanya bergantung pada. Secara khusus, harus demikian halnya untuk semua konstanta,

T (n, p) = (1 + O (n^{- C_{δ}})) \frac{n \log n}{h (p)},

$T(n,p) = (1+O(n^{-C_\delta})) \frac{n\log n}{h(p)},$

C_{δ} > 0

$C_\delta > 0$

δ

$\delta$

p_{1}, p_{2}

$p_1,p_2$

dan konvergensi cepat secara polinomi.

lim_{n \to \infty} \frac{T (n, p_{1})}{T (n, p_{2})} = \frac{h (p_{2})}{h (p_{1})},

$\lim_{n\to\infty} \frac{T(n,p_1)}{T(n,p_2)} = \frac{h(p_2)}{h(p_1)},$

— Yuval Filmus
sumber

Θ

$\Theta$

h (p)

$h(p)$

Θ

$\Theta$

n = 100000000000000

$n = 100000000000000$

T (n, 0.1) / T (n, 0.5)

$T(n, 0.1) / T(n, 0.5)$

Θ

$\Theta$

p

$p$

c, C

$c, C$

p

$p$

N_{p}

$N_p$

n \geq N_{p}

$n\geq N_p$

c n \log n / h (p) \leq T (n, p) \leq C n \log n / h (p)

$cn\log n/h(p) \leq T(n, p) \leq Cn\log n/h(p)$ . Anda mungkin bisa mendapatkan pernyataan formulir yang lebih kuat

T (n, p) = (1 + o (1)) C n \log n / h (p)

$T(n, p)=(1+o(1))Cn\log n/h(p)$ for each fixed

p

$p$ , where the little o is with respect to

n

$n$ (but could depend on

p

$p$ );

C

$C$ should not depend on

p

$p$ .

— Yuval Filmus

Convergence to the limit depends on

\log n

$\log n$ , so you might need

\log n

$\log n$ to be large in order to get a really good approximation. On the other hand, a relative error of 0.03 doesn't sound so large. You can try to fix

n

$n$ and plot the running time as a function of

p

$p$ , comparing it to

1 / h (p)

$1/h(p)$ .

— Yuval Filmus

Oh I'm sorry, I didn't mean a relative error of 0.03, but an absolute one (2.13222 vs 2.10339). Plotting

T (n, p)

$T(n, p)$ as a function of

p

$p$ , relative to

1 / h (p)

$1 / h(p)$ gave a relative difference of 4%, with

T (10^{11}, 0.05) * h (0.05)

$T(10^{11}, 0.05) * h(0.05)$ being 96% of

T (10^{11}, 0.4) * h (0.4)

$T(10^{11}, 0.4) * h(0.4)$ .

— orlp

Super-constant is a function tending to infinity with respect to the relevant variable (in this case

n

$n$ ). It is the same as

ω (1)

$\omega(1)$ .

— Yuval Filmus