Dalam ilmu komputer, kita sering harus memecahkan hubungan pengulangan , yaitu menemukan bentuk tertutup untuk urutan angka yang didefinisikan secara rekursif. Ketika mempertimbangkan runtimes, kita sering tertarik terutama pada pertumbuhan asimptotik urutan .

Contohnya adalah

1. Runtime dari fungsi rekursif-ekor melangkah ke bawah ke dari yang tubuhnya membutuhkan waktu :$0$$n$$f(n)$

   $\qquad \begin{align} T(0) &= 0 \\ T(n+1) &= T(n) + f(n) \end{align}$

2. The Fibonacci urutan :

   $\qquad \begin{align} F_0 &= 0 \\ F_1 &= 1 \\ F_{n+2} &= F_n + F_{n+1} \end{align}$

3. Jumlah kata Dyck dengan pasangan kurung:$n$

   $\qquad\begin{align} C_0 &= 1 \\ C_{n+1}&=\sum_{i=0}^{n}C_i\,C_{n-i} \end{align}$

4. Perulangan runtime mergesort pada daftar panjang :$n$

   $\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= T(\lfloor n/2\rfloor) + T(\lceil n/2\rceil) + n-1 \end{align}$

Apa metode untuk menyelesaikan hubungan perulangan? Kami sedang mencari

• metode umum dan
• metode untuk subkelas yang signifikan

sebaik

• metode yang menghasilkan solusi yang tepat dan
• metode yang memberikan (terikat pada) pertumbuhan asimptotik.

^{Ini seharusnya menjadi pertanyaan referensi. Harap kirim satu jawaban per metode dan berikan deskripsi umum serta contoh ilustratif.}

Mengubah Sejarah Lengkap menjadi Sejarah Terbatas

Ini adalah langkah pertama dalam menyelesaikan kekambuhan di mana nilai pada bilangan bulat apa pun bergantung pada nilai di semua bilangan bulat yang lebih kecil. Pertimbangkan, misalnya, pengulangan yang muncul dalam analisis quicksort acak . (Di sini, adalah pangkat poros yang dipilih secara acak.) Untuk setiap bilangan bulat , nilai tergantung pada semua dengan . Perulangan bentuk ini disebut perulangan riwayat penuh .knT(n)T(k)k<

$$T(n) = n + \frac{1}{n}\sum_{k=1}^n \big(T(k-1) + T(n-k)\big)$$ $k$$n$$T(n)$$T(k)$$k<n$

Untuk mengatasi perulangan ini, kita dapat mengubahnya menjadi perulangan sejarah yang terbatas , di mana hanya bergantung pada jumlah konstan dari nilai sebelumnya. Tapi pertama-tama, ini membantu menyederhanakan perulangan sedikit, untuk mengumpulkan istilah umum dan menghilangkan pecahan sial. Sekarang untuk mengonversi ke perulangan riwayat terbatas , kami menuliskan pengulangan untuk , kurangi, dan regather istilah: n T ( n $T(n)$ T(n-1) ( n - 1 ) T ( n - 1

$$\begin{align*} n T(n) &= n^2 + 2\sum_{k=1}^{n-1} T(k) \end{align*}$$ $T(n-1)$ $$\begin{align*} (n-1) T(n-1) &= (n-1)^2 + 2\sum_{k=1}^{n-2} T(k) \\ \implies nT(n) - (n-1)T(n-1) &= (2n-1) + 2T(n-1) \\[1ex] \implies n T(n) &= (2n-1) + (n+1) T(n-1) \\[1ex] \implies \frac{T(n)}{n+1} &= \frac{2n-1}{n(n+1)} + \frac{T(n-1)}{n} \end{align*}$$

Sekarang jika kita mendefinisikan dan mengganti pecahan dengan bentuk asimptotik yang lebih sederhana , kami memperoleh pengulangan yang lebih sederhana Memperluas pengulangan ini menjadi penjumlahan segera memberi kita , di mana adalah bilangan harmonik ke- . Kami menyimpulkan bahwa .2 n - $t(n) = T(n)/(n+1)$ Θ(1/n)t(n)=Θ(1/n)+t(n-1). t(n)=Θ(Hn)=Θ(logn)Hn$\frac{2n-1}{n(n+1)}$$\Theta(1/n)$

$$t(n) = \Theta(1/n) + t(n-1).$$ $t(n) = \Theta(H_n) = \Theta(\log n)$$H_n$$n$$\boldsymbol{T(n) = \Theta(n\log n)}$

Menghasilkan Fungsi$\newcommand{\nats}{\mathbb{N}}$

Setiap seri angka sesuai dengan fungsi pembangkit . Seringkali dapat dengan nyaman diperoleh dari perulangan untuk memiliki koefisien - elemen seri - dipetik.

Jawaban ini mencakup ansatz umum dengan contoh lengkap, pintasan untuk kasus khusus dan beberapa catatan tentang menggunakan metode ini untuk mendapatkan asimptotik (bahkan jika hasil pastinya tidak dapat diperoleh).

Metode

Biarkan serangkaian angka. Kemudian, seri kekuatan formal$(a_n)_{n\in\nats}$

$\qquad \displaystyle A(z) = \sum_{n=0}^\infty a_nz^n$

adalah biasa fungsi pembangkit ¹ dari . Koefisien dalam ekspansi seri sama dengan urutan, yaitu . Sebagai contoh, fungsi pembangkit biasa dari nomor Catalan terkenal adalah A ( z ) [ z n ] A ( z ) = a n C $(a_n)_{n\in\nats}$$A(z)$$[z^n]A(z) = a_n$ $C_n$

$\qquad \displaystyle C(z) = \frac{1 - \sqrt{1 - 4z}}{2z}$ .

Definisi juga merupakan jawaban kami untuk menyelesaikan masalah yang berulang. Ini bekerja paling baik untuk pengulangan linier, jadi anggap demi kesederhanaan pengulangan bentuk$A$

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= f(n) + \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

untuk beberapa fix dan suatu fungsi yang tidak tergantung pada semua . Sekarang kita cukup memasukkan kedua jangkar dan bagian rekursif ke dalam ansatz, yaitu f ( n ) : N → N a $b_1, \dots, b_k \in \mathbb{R}$$f(n) : \nats \to \nats$$a_i$

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_nz^n \\ &= c_0z^0 + c_1z^1 + \dots + c_{k-1}z^{k-1} + \sum_{n=k}^\infty \left[ f(n) + \left(\sum_{i=1}^k b_i a_{n-i}\right)\right] z^n \end{align}$

Dengan menggunakan mekanisme manipulasi jumlah, sifat seri kekuatan formal dan identitas yang diketahui ², sisi kanan terakhir harus dibawa ke dalam bentuk tertutup, biasanya dalam hal . Persamaan yang dihasilkan dapat (sering) diselesaikan untuk . Seri ekspansi hasil (yang dapat dengan mudah diperoleh, diketahui atau didekati) pada dasarnya adalah solusinya.A ( z $A(z)$$A(z)$

Pengantar yang baik dapat ditemukan dalam buku Wilf [3] dan di GKP [4]. Materi canggih telah dikumpulkan oleh Flajolet dan Sedgewick [5].

Contoh

Mempertimbangkan

$\qquad \begin{align} a_0 &= 1 \\ a_1 &= 2 \\ a_n &= 5n + 3a_{n-1} - 2a_{n_2} \qquad , n > 1 \end{align}$

Kami menghitung:

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_n z^n \\ &= 1 + 2z + \sum_{n=2}^\infty \left[ 3a_{n-1} - 2a_{n-2} + 5n\right]z^n \\ &= 1 + 2z + 3\sum_{n=2}^\infty a_{n-1}z^n - 2\sum_{n=2}^\infty a_{n-2}z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z\sum_{n=1}^\infty a_nz^n - 2z^2\sum_{n=0}^\infty a_n z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z(A(z) - a_0) - 2z^2A(z) + 5 \left( \frac{z}{(1-z)^2} - z\right) \\ &= 1 - 6z + (3z - 2z^2)A(z) + \frac{5z}{(1-z)^2} \end{align}$

Ini dipecahkan menjadi

$\qquad \begin{align} A(z) &= \frac{1 - 3z + 13z^2 - 6z^3}{(1-2z)(1-z)^3} \\ &= \frac{16}{1-2z} - \frac{5}{1-z} - \frac{5}{(1-z)^2} - \frac{5}{(1-z)^3} \\ &= 16\sum_{n=0}^\infty 2^n z^n - 5\sum_{n=0}^\infty z^n - 5 \sum_{n=0}^\infty (n+1) z^n - 5\sum_{n=0}^\infty \frac{(n+1)(n+2)}{2} z^n \end{align}$

Sekarang kita akhirnya bisa membacanya

$\qquad \begin{align} a_n &= 16 \cdot 2^n - 5 - 5(n+1) - \frac{5}{2}(n+1)(n+2) \\ &= 2^{n+4} - \frac{5}{2}n^2 - \frac{25}{2}n - 15 \end{align}$

Setelah Anda terbiasa , Anda perhatikan bahwa ini semua sangat mekanis. Bahkan, aljabar komputer dapat melakukan semua hal ini untuk Anda dalam banyak kasus. Yang baik adalah bahwa ia tetap (kurang lebih) mekanik bahkan jika perulangan lebih kompleks. Lihat di sini untuk contoh yang lebih terlibat, kurang mekanik.

Perhatikan juga bahwa teknik umum juga berfungsi jika objek yang dicari adalah bilangan kompleks, atau bahkan polinomial.

Jalan pintas

Untuk perulangan linier dan homogen, yaitu bentuk seperti itu

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

hal di atas berjalan dengan cara yang persis sama, setiap saat. Dengan melakukan perhitungan di atas secara simbolis, kami menemukan lemma berikut . Membiarkan

$\qquad \displaystyle z^k - b_1 z^{k-1} - b_2 z^{k-2} - \dots - b_k$

menjadi polinom karakteristik (dari pengulangan). Lebih jauh lagi -masing (berbeda berpasangan) nol dari polinomial dengan multiplisitas , masing-masing. Kemudian, koefisien yang diinginkan diberikan olehr $\lambda_1, \dots, \lambda_l$$r_i$

$\qquad \displaystyle a_n = \sum_{i=1}^l \sum_{j=1}^{r_i} b_{i,j} \cdot n^{j-1} \cdot \lambda_i^n$

dengan tidak dikenal . Karena polinom karakteristik memiliki derajat , ada persis (kompleks) nol, yaitu jumlah ke . Oleh karena itu, koefisien yang hilang dapat ditentukan dengan menyelesaikan sistem persamaan linear dengan persamaan diperoleh dengan menyamakan rumus di atas dengan setiap dari (misalnya jangkar). k k r i k k k a $b_{i,j}$$k$$k$$r_i$$k$$k$$k$$a_n$

Asimptotik

Mendapatkan ke formulir tertutup untuk biasanya merupakan bagian yang mudah. Mengekspresikannya dalam menghasilkan fungsi, kita tahu koefisien (seperti yang kita lakukan dalam contoh) dengan cepat menjadi sulit. Contohnya adalah dari atas dan satu untuk jumlah kata Dyck yang disebutkan dalam pertanyaan.C ( z $A(z)$$C(z)$

Seseorang dapat menggunakan mesin analisis yang kompleks, khususnya analisis singularitas, untuk mendapatkan asimtotik untuk koefisien; kata kunci termasuk metode Darboux dan metode sadel. Ini didasarkan pada teorema residu dan formula integral Cauchy . Lihat [6] untuk detailnya.

---

1. Anda dapat melakukan hal serupa dengan eksponensial , Dirichlet , dan beberapa fungsi pembangkit lainnya . Yang berfungsi paling baik tergantung pada urutan yang ada dan khususnya apakah Anda menemukan formulir tertutup yang diperlukan.
2. Misalnya dari TCS Cheat Sheet atau [3].
3. menghasilkanfungsiologi oleh H. Wilf (1994, 2nd ed.) - tersedia untuk diunduh gratis
4. Matematika Beton oleh RL Graham, DE Knuth dan O. Patashnik (1994, 2nd ed.)
5. Pengantar Analisis Algoritma oleh R. Sedgewick dan P. Flajolet (edisi ke-2, 2013) - tersedia untuk diunduh gratis
6. Analytic Combinatorics oleh P. Flajolet dan R. Sedgewick (2009) - tersedia untuk diunduh gratis

Tuan Teorema

The Guru Teorema memberikan asymptotics untuk solusi dari apa yang disebut membagi & menaklukkan kambuh, yaitu seperti yang membagi parameter mereka ke dalam potongan proporsional (bukan memotong konstanta). Mereka biasanya terjadi ketika menganalisis (rekursif) membagi & menaklukkan algoritma, maka namanya. Teorema ini populer karena seringkali sangat mudah diterapkan. Di sisi lain, itu hanya dapat diterapkan pada pengulangan dari bentuk berikut:

$\qquad \displaystyle T(n) = a \cdot T\left(\frac{n}{b}\right) + f(n)$

dengan . Ada tiga kasus$a \geq 1, b > 1$

1. $\quad \displaystyle f \in O\left( n^{\log_b (a) - \varepsilon} \right)$

   untuk beberapa ;$\varepsilon > 0$

2. $\quad \displaystyle f \in \Theta\left( n^{\log_b a} \log^{k} n \right)$ ,

   untuk beberapa ;$k \geq 0$

3. $\quad \displaystyle f \in \Omega\left( n^{\log_b (a) + \varepsilon} \right)$

   untuk beberapa dan$\varepsilon > 0$

   $\quad \displaystyle a f\left( \frac{n}{b} \right) \le c f(n)$

   untuk beberapa dan .n → $c < 1$$n \to \infty$

yang menyiratkan asimtotik

1. $T \in \Theta\left( n^{\log_b a} \right)$ ,
2. $T \in \Theta\left( n^{\log_b a} \log^{k+1} n \right)$ dan
3. $T \in \Theta \left(f \right)$ ,

masing-masing. Perhatikan bahwa kasing dasar tidak dinyatakan atau digunakan di sini; itu masuk akal, mengingat kami hanya menyelidiki perilaku asimptotik . Kami diam-diam menganggap bahwa mereka adalah beberapa konstanta (apa lagi yang bisa mereka. Konstanta mana yang tidak kita lihat tidak relevan, mereka semua lenyap dalam .$\Theta$

Contohnya

1. Pertimbangkan pengulangannya

   $\qquad \displaystyle T(n) = 4T\left(\frac{n}{3}\right) + n$ .

   Dengan dan - perhatikan bahwa kita melihat bahwa case satu berlaku dengan . Karenanya, .b = 3 log b a ≈ 1.26 ε = 0.25 T ∈ Θ ( n log 3 4 ) = Θ ( n 1.261 ...$f(n) = n, a=4$$b=3$$\log_b a \approx 1.26$$\varepsilon = 0.25$$T \in \Theta(n^{\log_3 4}) = \Theta(n^{1.261\dots})$

2. Pertimbangkan pengulangannya

   $\qquad \displaystyle T(n) = 2T(n/2) + n$ .

   Dengan dan - perhatikan bahwa kita melihat bahwa kasus dua berlaku dengan . Oleh karena itu, .b = 2 log b a = 1 k = 0 T ∈ Θ ( n log n $f(n) = n, a=2$$b=2$$\log_b a = 1$$k=0$$T \in \Theta(n \log n)$

3. Pertimbangkan pengulangannya

   $\qquad \displaystyle T(n) = 3T\left(\frac{n}{4}\right) + n$ .

   Dengan dan - perhatikan bahwa kita melihat bahwa case tiga berlaku dengan dan . Oleh karena itu, .b = 4 log b a ≈ 0,79 ε = 0,2 c = 1 T ∈ Θ ( n $f(n) = n, a=3$$b=4$$\log_b a \approx 0.79$$\varepsilon = 0.2$$c=1$$T \in \Theta(n)$

4. Pertimbangkan pengulangannya

   $\qquad \displaystyle T(n) = 16T\left(\frac{n}{4}\right) + n!$

   Di sini kita memiliki , dan- banyak contoh standar akan memiliki polinomial , tetapi ini bukan aturan. Kami memiliki , dan huruf tiga berlaku lagi. Dalam contoh ini, kita dapat memilih dan sebagai untuk semua . Oleh karena itu .b = 4 f ( n ) = n ! f log b a = 2 ε c > 0 n ! ∈ ohm ( n k ) k T ∈ q ( n ! $a = 16$$b=4$$f(n) = n!$$f$$\log_b a = 2$$\varepsilon$$c > 0$$n! \in \Omega(n^{k})$$k$$T \in \Theta(n!)$

Bacaan lebih lanjut

• Sangat mungkin bahwa tidak ada kasus teorema Master yang berlaku. Sebagai contoh, subproblem mungkin tidak memiliki ukuran yang sama atau memiliki bentuk yang lebih kompleks. Ada beberapa ekstensi pada teorema Master, misalnya Akra-Bazzi [1] atau Roura [2]. Bahkan ada versi yang bekerja untuk rekurensi diskrit (yaitu lantai dan langit-langit digunakan pada parameter rekursif) dan memberikan hasil yang lebih tajam [3].

• Biasanya, Anda harus memijat relasi rekurensi aktual yang Anda miliki sebelum dapat menerapkan teorema Master. Transformasi umum yang mempertahankan asimptotik termasuk menjatuhkan lantai dan langit-langit serta mengasumsikan . Berhati-hatilah untuk tidak merusak barang-barang di sini; lihat [4] bagian 4.6 dan pertanyaan ini untuk perincian.$n=b^k$

---

1. Pada Solusi Persamaan Linier Linear oleh M. Akra dan L. Bazzi (1998)
2. Teorema master yang ditingkatkan untuk rekurensi divide-and-conquer oleh S. Roura (1997)
   ^{Mengacu pada teorema master yang lebih baik.}
3. Teorema master untuk kesenjangan rekurensi dan menaklukkan diskrit oleh M. Drmota dan W. Szpankowski (2011)
4. Pengantar Algoritma oleh Cormen et al. (2009, edisi ke-3)

Tebak & Buktikan

Atau bagaimana saya suka menyebutnya, " technique". Ini dapat diterapkan untuk semua jenis identitas. Idenya sederhana:$\dots$

Tebak solusinya dan buktikan kebenarannya.

Ini adalah metode yang populer, bisa dibilang karena biasanya membutuhkan beberapa kreativitas dan / atau pengalaman (baik untuk pamer) tetapi sedikit mekanik (terlihat elegan). Seni di sini adalah membuat tebakan yang bagus dan terpelajar; buktinya (dalam kasus kami) biasanya induksi yang kurang lebih sederhana.

Saat diterapkan pada perulangan, "menebak" biasanya dilakukan oleh

• memperluas pengulangan beberapa kali,
• mencari tahu jangkar dan
• menebak pola untuk perantara ( ).$\dots$

Contoh sederhana

$\qquad \begin{align} s_0 &= s_1 = s_2 = 1 \\ s_n &= 5s_{n-3} + 6 \qquad\qquad n \geq 2 \end{align}$

Mari kita perluas definisi beberapa kali:$s_n$

$\qquad \begin{align} s_n &= 5s_{n-3} + 6 \\ &= 5(5s_{n-6} + 6) + 6 \\ &= 5(5(5s_{n-9} + 6) + 6) + 6 \\ &\ \vdots \\ &= \underbrace{5(5(5( \dots 5\cdot 1}_{n \div 3 \text{ times}} + \underbrace{6 \dots ) + 6) + 6) + 6}_{n \div 3 \text{ times}} \end{align}$

Di sini, polanya mudah dikenali dan menuntun kita pada klaim:

$\qquad \begin{align} s_n &= 5^{\left\lfloor\frac{n}{3}\right\rfloor} + 6\cdot \sum_{i=0}^{\left\lfloor\frac{n}{3}\right\rfloor - 1} 5^i \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \end{align}$

Sekarang kami membuktikan identitas dengan induksi. Untuk , kita dapat menetapkan kebenaran dengan memasukkan nilai masing-masing. Dengan asumsi identitas berlaku untuk semua untuk sewenang-wenang tetapi diperbaiki , kami menghitungn ′ ≤ n n ≥ $n \in \{0,1,2\}$$n' \leq n$$n \geq 3$

$\qquad \displaystyle \begin{align} s_{n+3} &= 5s_n + 6 \\ &= 5\cdot \left( \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \right) + 6 \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor + 1} - \frac{6}{4} \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n+3}{3}\right\rfloor} - \frac{6}{4} \end{align}$

yang membuktikan identitas dengan kekuatan induksi.

Jika Anda mencoba menggunakan ini pada rekurensi yang lebih terlibat, Anda dengan cepat menemukan kelemahan utama dari metode ini: mungkin sulit untuk melihat polanya, atau memadatkannya ke bentuk tertutup yang bagus.

Asimptotik

Dimungkinkan juga untuk menggunakan metode ini untuk asimptotik. Perlu diketahui, bahwa Anda harus menebak konstanta untuk simbol Landau karena harus ada satu konstanta yang menetapkan batas untuk semua , yaitu faktor konstan tidak dapat berubah selama induksi.$n$

Pertimbangkan, misalnya, pengulangan runtime Mergesort, disederhanakan untuk kasus ¹:$n=2^k$

$\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= 2T(n/2) + n-1 \qquad n \geq 1 \end{align}$

Kami menebak bahwa dengan konstanta , yaitu . Kami membuktikan ini dengan induksi lebih dari ; langkah induktif terlihat seperti ini:c = 1 T ( n ) ≤ n log n $T(n) \in O(n\log n)$$c=1$$T(n) \leq n\log n$$k$

$\qquad \begin{align} T(n) &= 2T(n/2) + n-1 \\ &\leq 2\frac{n}{2}\log \frac{n}{2} + n - 1 \\ &= n\log n - n\log 2 + n - 1 \\ &\lt n \log n \end{align}$

---

1. Untuk urutan natural yang tidak berkurang, setiap urutan tak terbatas memiliki pertumbuhan asimptotik yang sama dengan urutan aslinya.

Metode Akra-Bazzi

Metode Akra-Bazzi memberikan asimptotik untuk pengulangan bentuk: Ini mencakup recurrences membagi dan menaklukkan yang biasa, tetapi juga kasus di mana pembagiannya tidak merata. "Istilah fudge" dapat memenuhi divisi yang tidak keluar dengan tepat, misalnya. Ketentuan untuk penerapan adalah: h i ( x

$$T(x) = \sum_{1 \le i \le k} a_i T(b_i x + h_i(x)) + g(x) \quad \text{for $x \ge x_0$}$$ $h_i(x)$

• Ada cukup kasus dasar untuk mendapatkan pengulangan
• The dan semua konstantab $a_i$$b_i$
• Untuk semua ,a i > $i$$a_i > 0$
• Untuk semua ,0 < b i < $i$$0 < b_i < 1$
• c x → $\lvert g(x) \rvert = O(x^c)$ untuk beberapa konstanta sebagai$c$$x \rightarrow \infty$
• Untuk semua ,| h i ( x ) | = O ( x / ( log x ) 2$i$$\lvert h_i(x) \rvert = O(x / (\log x)^2)$
• $x_0$ adalah konstanta

Perhatikan bahwa , dan sebagai fungsi gigi gergaji selalu antara 0 dan 1, menggantikan (atau as ) memenuhi persyaratan pada .{ u } = u - ⌊ u ⌋ ⌊ b i x ⌋ ⌈ b i x ⌉ h $\lfloor b_i x \rfloor = b_i x - \{b_i x\}$$\{ u \} = u - \lfloor u \rfloor$$\lfloor b_i x \rfloor$$\lceil b_i x \rceil$$h_i$

Temukan sedemikian rupa sehingga: Kemudian perilaku asimptotik dari sebagai diberikan oleh: dengan "cukup besar", yaitu terdapat sehingga untuk semua .∑ 1 ≤ i ≤ k a i b p i = 1 T ( x ) x → ∞ T ( x ) = Θ ( x p ( 1 + ∫ x x 1 g ( u $p$

$$\sum_{1 \le i \le k} a_i b_i^p = 1$$ $T(x)$$x \rightarrow \infty$x1k1>0g(x/2)≥k1g(x)x>x $$T(x) = \Theta \left( x^p \left( 1 + \int_{x_1}^x \frac{g(u)}{u^{p + 1}} du \right) \right)$$ $x_1$$k_1>0$ $$g(x/2) \geq k_1g(x) \tag{2}$$ $x>x_1$

Contoh A

Sebagai contoh, ambil rekursi untuk , di mana : Kondisi terpenuhi, kita perlu : Seperti keberuntungan, . Jadi kita memiliki: $n \ge 5$$T(0) = T(1) = T(2) = T(3) = T(4) = 17$

$$T(n) = 9 T(\lfloor n / 5 \rfloor) + T(\lceil 4 n / 5 \rceil) + 3 n \log n$$ $p$ $$9 \left( \frac{1}{5} \right)^p + \left( \frac{4}{5} \right)^p = 1$$ $p = 2$ $$T(n) = \Theta \left( n^2 \left(1 + \int_3^n \frac{3 u \log u}{u^3} du \right) \right) = \Theta(n^2)$$

karena dengan kami memenuhi untuk semua . Perhatikan bahwa karena integral menyatu bahkan jika kita menggunakan konstanta lain, seperti , sebagai batas bawah, adalah sah untuk menggunakannya juga; perbedaan menghilang dalam .$k_1 \leq \frac{1}{2}\left(1 - \frac{\log 2}{\log 3}\right)$$(2)$$x\geq 3$$1$$\Theta$

Contoh B

Contoh lain adalah yang berikut untuk : Kami memiliki , periksa. Kami memiliki satu , , yang memeriksa. Dengan asumsi bahwa benar-benar dan / atau , tersirat juga memeriksa. Jadi kita membutuhkan: Jadi , dan: $n \ge 2$

$$T(n) = 4 T(n / 2) + n^2 / \lg n$$ $g(n) = n^2 / \ln n = O(n^2)$$a_1 = 4$$b_1 = 1 / 2$$n / 2$$\lfloor n / 2 \rfloor$$\lceil n / 2 \rceil$$h_i(n)$ $$a_1 b_1^p = 4 \cdot (1 / 2)^p = 1$$ $p = 2$ $$T(n) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{u^2 du}{u^3 \ln u} \right) \right) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{du}{u \ln u} \right) \right) = \Theta(n^2 \ln \ln n)$$ Kami menerapkan trik yang sama seperti di atas untuk batas bawah integral, hanya saja kita menggunakan karena integral tidak konvergen untuk .$2$$1$

(Bantuan maxima dengan aljabar sangat berterima kasih)

Penjumlahan

Seringkali kita menemukan pengulangan bentuk mana adalah monoton. Dalam hal ini, kita dapat memperluas dan diberi nilai awal , untuk memperkirakan kita perlu memperkirakan jumlah .

$$T(n) = T(n-1) + f(n),$$ $f(n)$ $$T(n) = T(c) + \sum_{m=c+1}^n f(m),$$ $T(c)$$T(n)$$f(c+1) + \cdots + f(m)$

Non-pengurangan$f(n)$

Ketika adalah monoton non-menurun, kita memiliki batas yang jelas Batas-batas ini paling mungkin dalam arti bahwa mereka ketat untuk beberapa fungsi: batas atas untuk fungsi konstan, dan batas bawah untuk fungsi langkah ( untuk dan untuk ). Namun, dalam banyak kasus perkiraan ini tidak terlalu membantu. Misalnya, ketika , batas bawah adalah dan batas atas adalah , sehingga keduanya berjauhan.$f(n)$

$$f(n) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(n).$$ $f(m) = 1$$m \geq n$$f(m) = 0$$m < n$$f(m) = m$$n$$(n-c)n$

Integrasi

Perkiraan yang lebih baik diberikan oleh integrasi: Untuk , ini memberikan nilai penjumlahan yang benar ke istilah dengan urutan lebih rendah: Ketika kita dapat menghitung jumlah secara eksplisit, tetapi dalam banyak kasus perhitungan eksplisit sulit. Sebagai contoh, ketika antiderivatif dari adalah , dan begitu

$$\int_c^n f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_{c+1}^{n+1} f(x) dx.$$ $f(m) = m$ $$\frac{1}{2} n^2 - \frac{1}{2} c^2 \leq \sum_{m=c+1}^n m \leq \frac{1}{2} (n+1)^2 - \frac{1}{2} (c+1)^2.$$ $f(m) = m$$f(m) = m\log m$$f$$(1/2) x^2\log x - (1/4) x^2$ $$\sum_{m=c+1}^n m\log m = \frac{1}{2} n^2 \log n \pm \Theta(n^2).$$

The Euler-Maclaurin rumus memberikan perkiraan yang lebih baik. Formula ini dapat digunakan, misalnya, untuk membuktikan bentuk kuat rumus Stirling, dengan memperkirakan jumlah .$\log n! = \sum_{m=1}^n \log m$

Non-meningkat$f(n)$

Dalam beberapa kasus, monoton tidak meningkat. Estimasi sepele menjadi dan estimasi integral Sebagai contoh, untuk , menggunakan kita memperoleh $f(n)$

$$f(1) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(1),$$ $$\int_{c+1}^{n+1} f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_c^n f(x) dx.$$ $f(m) = 1/m$$\int f(m) = \log m$ $$\sum_{m=c+1}^n \frac{1}{m} = \log n \pm \Theta(1).$$

Sedgewick dan Flajolet telah melakukan pekerjaan yang luas dalam analitik kombinatorik , yang memungkinkan rekurensi diselesaikan secara asimptotik menggunakan kombinasi fungsi pembangkit dan analisis kompleks. Pekerjaan mereka memungkinkan banyak pengulangan diselesaikan secara otomatis, dan telah diimplementasikan dalam beberapa sistem aljabar komputer.

Buku pelajaran ini tentang subjek ditulis oleh Flajolet dan Sedgewick dan merupakan referensi yang sangat baik. Eksposisi yang agak sederhana, diarahkan pada aplikasi untuk analisis algoritma, adalah teks ini oleh Sedgewick dan Flajolet.

Semoga ini membantu!

Mungkin ada saat-saat ketika Anda menemukan perulangan aneh seperti ini: Jika Anda seperti saya, Anda akan menyadari bahwa Anda tidak dapat menggunakan Teorema Master dan kemudian Anda mungkin berpikir, " hmmm ... mungkin analisis pohon perulangan bisa bekerja. " Maka Anda akan menyadari bahwa pohon mulai menjadi sangat cepat. Setelah beberapa pencarian di internet Anda melihat metode Akra-Bazzi akan berfungsi! Kemudian Anda benar-benar mulai melihat ke dalamnya dan menyadari Anda tidak benar-benar ingin melakukan semua matematika. Jika Anda seperti saya sampai saat ini, Anda akan senang mengetahui ada cara yang lebih mudah.

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$

---

Teorema Perpecahan Tidak Rata Bagian 1

Biarkan dan menjadi konstanta positif.$c$$k$

Kemudian biarkan menjadi konstanta positif sehingga .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i < 1$

Kita juga harus memiliki pengulangan formulir (seperti contoh kita di atas):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Klaim

Kemudian saya mengklaim mana adalah konstanta (misalnya linear asimptotik) dan:$T(n) \leq bn$$b$

$$b = \frac{c}{1 - \left(\sum_1^k a_i\right)}$$

Bukti oleh Induksi

Dasar :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c < b < bn$

Induksi : Asumsikan true untuk setiap , yang kemudian kita miliki$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + b \lfloor a_1 n \rfloor + b \lfloor a_2 n \rfloor + \dots + b \lfloor a_k n \rfloor\\ & \leq cn + b a_1 n + b a_2 n + \dots + b a_k n\\ & = cn + bn \sum_1^k a_i\\[0.5em] & = \frac{cn - cn \sum_1^k a_i }{1 - \left(\sum_1^k a_i\right)} + \frac{cn \sum_1^k a_i}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] & = \frac{cn}{1 - \left(\sum_1^k a_i\right)}\\ & = bn & \square \end{align}$$

Maka kita memiliki .$T(n) \leq bn \implies T(n) = O(n)$

Contoh

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$ Kami pertama-tama memverifikasi koefisien di dalam panggilan rekursif berjumlah kurang dari satu: $$\begin{align} 1 & > \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7}\\[0.5em] & = \frac{2}{5} + \frac{4}{7}\\[0.5em] & = \frac{34}{35} \end{align}$$

Kami selanjutnya memverifikasi bahwa kasus dasar kurang dari maks dari invers koefisien-koefisien:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7\}\\ & = 7 \end{align}$$

Dengan kondisi ini terpenuhi, kita tahu mana adalah konstan sama dengan: Oleh karena itu kami memiliki: $T(n) \leq bn$$b$

$$\begin{align} b &= \frac{c}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] &= \frac{c}{1 - \frac{34}{35}}\\[0.5em] &= 35c \end{align}$$ $$\begin{align} T(n) & \leq 35cn\\ \land\; T(n) & \geq cn\\ \therefore T(n) & = \Theta(n) \end{align}$$

---

Teorema Perpecahan Tidak Rata Bagian 2

Demikian pula kita dapat membuktikan batasan ketika . Buktinya akan mengikuti banyak format yang sama:$\sum_1^k = 1$

Biarkan dan menjadi konstanta positif sehingga .$c$$k$$k > 1$

Kemudian biarkan menjadi konstanta positif sehingga .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i = 1$

Kita juga harus memiliki pengulangan formulir (seperti contoh kita di atas):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Klaim

Kemudian saya mengklaim (kita memilih basis karena akan menjadi faktor percabangan dari pohon rekursi) di mana dan adalah konstanta (misalnya linearitmik yang asimptotik) ) seperti yang:$T(n) \leq \alpha n \log_k n + \beta n$$\log$$k$$k$$\alpha$$\beta$

$$\beta = c$$ dan $$\alpha = \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}$$

Bukti oleh Induksi

Dasar :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c = \beta < \alpha n \log_k n + \beta n$

Induksi : Asumsikan true untuk setiap , yang kemudian kita miliki$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + \sum_1^k (\alpha a_i n \log_k a_i n + \beta a_i n)\\ & = cn + \alpha n\sum_1^k (a_i \log_k a_i n) + \beta n\sum_1^k a_i\\ & = cn + \alpha n\sum_1^k \left(a_i \log_k \frac{n}{a_i^{-1}}\right) + \beta n\\ & = cn + \alpha n\sum_1^k (a_i (\log_k n - \log_k a_i^{-1})) + \beta n\\ & = cn + \alpha n\sum_1^k a_i \log_k n - \alpha n\sum_1^k a_i \log_k a_i^{-1} + \beta n\\ & = \alpha n\sum_1^k a_i \log_k n + \beta n\\ & = \alpha n \log_k n + \beta n & \square \end{align}$$

Maka kita memiliki .$T(n) \leq \alpha n \log_k n + \beta n \implies T(n) = O(n \log n)$

Contoh

Mari kita modifikasi contoh sebelumnya yang kita gunakan sedikit saja:

$$T(n) = \begin{cases} c & n < 35\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + T\left(\frac{n}{35}\right)+ cn & n \geq 35 \end{cases}$$

Kami pertama-tama memverifikasi koefisien di dalam panggilan rekursif dengan satu:

$$\begin{align} 1 & = \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{35}\\[0.5em] & = \frac{2}{5} + \frac{4}{7} + \frac{1}{35}\\[0.5em] & = \frac{35}{35} \end{align}$$

Kami selanjutnya memverifikasi bahwa kasus dasar kurang dari maks dari invers koefisien-koefisien:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7, 35\}\\ & = 35 \end{align}$$

Dengan kondisi ini terpenuhi, kita tahu mana dan adalah konstanta yang sama dengan: Oleh karena itu kami memiliki: $T(n)\leq \alpha n \log n + \beta n$$\beta = c$$\alpha$

$$\begin{align} b &= \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}\\[0.5em] &= \frac{c}{\frac{2 \log_7 5}{5} + \frac{4 \log_7 7}{7} + \frac{\log_7 35}{35}}\\[0.5em] &\approx 1.048c \end{align}$$ $$\begin{align} T(n) & \leq 1.048cn\log_7 n + cn\\ \therefore T(n) & = O(n \log n) \end{align}$$

Setelah memeriksa posting ini lagi, saya terkejut ini belum ada di sini.

Transformasi Domain / Perubahan Variabel

Ketika berhadapan dengan perulangan, terkadang berguna untuk mengubah domain Anda jika tidak jelas seberapa dalam tumpukan rekursi akan terjadi.

Misalnya, lakukan pengulangan berikut:

$$T(n) = T(2^{2^{\sqrt{\log \log n}}}) + \log \log \log n$$

Bagaimana kita bisa menyelesaikan ini? Kami bisa memperluas seri, tetapi saya berjanji ini akan menjadi sangat cepat. Sebagai gantinya, mari pertimbangkan bagaimana input kami berubah dengan setiap panggilan.

Pertama-tama kita memiliki:

1. $n$ kemudian
2. $2^{2^{\sqrt{\log \log n}}}$ , lalu
3. $2^{2^{\sqrt{\log \log (2^{2^{\sqrt{\log \log n}}})}}}$ , dan seterusnya.

Tujuan dari transformasi domain sekarang adalah untuk mengubah pengulangan kami menjadi setara sehingga alih-alih transisi di atas, kami hanya memiliki .$S(k)$$k, k-1, k-2, \ldots$

Misalnya, jika kita membiarkan , maka inilah yang kita dapatkan untuk pengulangan di atas: Kemudian kita cukup menulis ulang sebagai: Maka yang harus Anda lakukan adalah mengonversi kembali ke untuk mendapatkan: $n = 2^{2^{2^{2^k}}}$

$$\begin{align*} T(2^{2^{2^{2^k}}}) & = T(2^{2^{\sqrt{\log \log 2^{2^{2^{2^{k}}}}}}}) + \log \log \log (2^{2^{2^{2^{k}}}})\\ & = T(2^{2^{2^{2^{k-1}}}}) + 2^k \end{align*}$$ $$T(k) = T(k-1) + 2^k = \sum_{i = 1}^{k} 2^k = 2^{k+1} - 1$$ $k$$n$ $$T(n) = 2^{(\log \log \log \log n) + 1} - 1 = O(\log \log \log n)$$

---

Dengan contoh ini, kita sekarang dapat melihat tujuan kita.

Asumsikan Untuk beberapa konstanta dan fungsi dan .

$$T(n) = \begin{cases} h(1) & n = 1\\ a\cdot T(f(n)) + h(n) & \mathrm{otherwise} \end{cases}$$ $a$$f(n)$$h(n)$

Kami sekarang mencoba menemukan beberapa fungsi dan sedemikian rupa sehingga $g(k) = n$$f(g(k)) = g(k-1)$

$$\begin{align*} T(g(k)) &= aT(f(g(k))) + h(g(k))\\ & = a\cdot T(g(k-1)) + h(g(k)) \end{align*}$$

Secara umum, kita ingin mana adalah aplikasi berulang dari pada , kali. (mis. ). Ini akan memungkinkan untuk bertindak sebagai fungsi "iterasi". Dimana, pada kedalaman rekursi, kerja yang dilakukan hanya .$f^{(i)}(n) = g(k - i)$$f^{(i)}(n)$$f$$n$$i$$f^{(2)}(n) = f(f(n))$$g(k)$$i$$h(g(k-i))$

Maka kita dapat dengan mudah mengkonversi ini ke sehingga Maka kita hanya perlu khawatir tentang meringkas untuk semua hingga kasing dasar yang diberikan. Yaitu, $S(k) = T(g(k))$

$$S(k) = a\cdot S(k-1) + h(g(k))$$ $h(g(k))$$k$ $$S(k) = \sum_{i = g^{-1}(1)}^{k} a^{k - i} h(g(i))$$

Jika kita dapat menentukan untuk beberapa fungsi bentuk tertutup , maka kita dapat menentukan sebagai $S(k) = \gamma(k)$$\gamma$$T(n)$

$$T(n) = \gamma( g^{-1}(n))$$

Kemudian kami menggunakan ini untuk mendapatkan terikat pada melalui salah satu metode lain di atas. Anda jelas dapat memodifikasi metode ini sedikit untuk spesifikasi Anda, tetapi secara umum Anda mencoba menemukan fungsi iterasi untuk mengubah menjadi rekursi sederhana.$T(n)$$g(k)$$T(n)$

Saya tidak tahu cara pasti untuk menentukan pada titik ini, tetapi saya akan terus memikirkannya dan memperbarui jika menjadi lebih jelas (atau jika ada komentator punya beberapa tips!). Saya kebanyakan menemukan fungsi melalui trial and error di masa lalu (lihat di sini , di sini , di sini , dan di sini untuk contohnya).$g(k)$$g(k)$

Ada satu lagi pendekatan yang berfungsi untuk hubungan perulangan yang sederhana: minta Wolfram Alpha untuk menyelesaikan perulangan untuk Anda.

Misalnya, coba ketikkan f(0)=0, f(1)=1, f(n)=f(n-1)+f(n-2)Wolfram Alpha. Anda akan mendapatkan solusi, dengan tautan ke angka Fibonacci. Atau coba f(1)=1, f(n)=f(n-1)+natau f(1)=1, f(n)=2*f(n-1)+3*natau f(n)=f(n-1) + 2 f(n-2), f(1)=1, f(2)=3untuk contoh lainnya. Namun, berhati-hatilah: Wolfram Alpha dapat memecahkan beberapa pengulangan yang sangat sederhana, tetapi berantakan untuk yang lebih kompleks.

Pendekatan ini menghindari perlunya pemikiran apa pun, yang dapat dilihat sebagai bug atau fitur.

Kasus 2 dari teorema master, seperti biasanya dinyatakan, hanya menangani pengulangan dari bentuk di mana untuk . Teorema berikut, diambil dari handout Jeffrey Leon, memberikan jawaban untuk negatif :$T(n) = aT(n/b) + f(n)$$f(n) = \Theta(n^{\log_ab}\log^k n)$$k \geq 0$$k$

Pertimbangkan rekurensi dengan case dasar yang sesuai.$T(n) = a T(n/b) + f(n)$

1. Jika untuk maka .$f(n) = O(n^{\log_b a} \log^{c-1} n)$$c < 0$$T(n) = \Theta(n^{\log_b a})$

2. Jika untuk maka .$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c = 0$$T(n) = \Theta(n^{\log_b a} \log\log n)$

3. Jika untuk maka ).$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c > 0$$T(n) = \Theta(n^{\log_b a} \log^c n$

Buktinya menggunakan metode substitusi berulang, seperti yang sekarang kita sketsa. Misalkan dan . Kemudian untuk kekuatan , Sekarang mari kita perhatikan kasus satu per satu. Ketika , seri menyatu, dan begitu . Ketika , jumlahnya adalah jumlah harmonik , dan seterusnya$f(n) = n^{\log_b a} \log_b^{c-1} n$$T(1) = 0$$n$$b$

$$T(n) = \sum_{i=0}^{\log_b n-1} a^i (nb^{-i})^{\log_b a} \log_b^{c-1} (nb^{-i}) = \\ \sum_{i=0}^{\log_b n-1} n^{\log_b a} (\log_b n - i)^{c-1} = n^{\log_b a} \sum_{j=1}^{\log_b n} j^{c-1}.$$ $c < 0$$\sum_{j=0}^\infty j^{c-1}$$T(n) = \Theta(n^{\log_b a})$$c = 0$$H_{\log_b n} = \log(\log_b n) + O(1)$$T(n) = \Theta(n^{\log_b a} \log \log n)$ . Ketika , kita dapat memperkirakan jumlah menggunakan integral: dan .$c > 0$T(n)=Θ(nlogbalogcn $$\sum_{j=1}^{\log_b n} \approx \int_0^{\log_b n} x^{c-1} \, dx = \left. \frac{x^c}{c} \right|_0^{\log_b n} = \frac{\log_b^c n}{c},$$ $T(n) = \Theta(n^{\log_b a} \log^c n)$