Algoritma integer square root integer presisi sembarang?

Apakah ada algoritma subquadratic yang diketahui untuk menghitung lantai akar kuadrat dari ninteger bit?

Algoritma naif akan menjadi sesuatu seperti

def sqrt(x):
    r = 0
    i = x.bit_length() // 2
    while i >= 0:
        inc = (r << (i+1)) + (1 << (i*2))
        if inc <= x:
            x -= inc
            r += 1 << i
        i -= 1
    return r

Ini membutuhkan O(n)iterasi, masing-masing melibatkan penambahan yang merupakan O(n)waktu, jadi ini adalah O(n^2)waktu keseluruhan. Adakah yang lebih cepat? Saya tahu bahwa untuk kasus perkalian ada algoritma khusus yang melakukan lebih baik daripada waktu kuadratik, tetapi saya tidak dapat menemukan apa pun untuk akar kuadrat.

algorithms numerical-algorithms

— Antimon
sumber

Jawaban saya untuk sesuatu yang terkait mungkin membantu cs.stackexchange.com/a/37338/12052 . Satu-satunya masalah adalah, bagian dari persamaan yang diperlukan Anda perlu menemukan secara empiris untuk menyesuaikan akurasinya.

— Francesco Gramano

@ FrancescoGramano: Maaf, saya rasa itu tidak membantu.

— Aryabhata

btw, apakah persyaratan sub-kuadrat ini merupakan masalah yang lebih besar? Karena perbedaan antara sub-kuadratik kuadratik dan rumit mungkin tidak begitu besar dalam praktiknya. Atau itu hanya kepentingan teoretis?

— Aryabhata

@Aryabhata Maaf saya tidak melihat komentar Anda sebelumnya. Tidak, itu bukan bagian dari masalah yang lebih besar, hanya rasa ingin tahu.

— Antimony

Jawaban:

Anda dapat menggunakan metode Newton atau salah satu dari sejumlah metode lain untuk menemukan pendekatan ke akar polinomial . $p(x) = x^2 -c$

Tingkat konvergensi untuk metode Newton akan kuadrat, yang berarti bahwa jumlah bit yang benar berlipat ganda di setiap iterasi. Ini berarti iterasi metode Newton sudah cukup. $O(\lg n)$

Setiap iterasi dari metode Newton menghitung

x_{j + 1} = x_{j} - (x_{j}^{2} - c) / (2 x_{j}) = 0.5 x_{j} + \frac{c}{2 x_{j}} .

$x_{j+1} = x_j - (x_j^2 -c)/(2x_j) = 0.5 x_j + \frac{c}{2x_j}.$

Kompleksitas bit dari perkalian adalah , untuk mengalikan dua bit integer (mengabaikan faktor ). Kompleksitas bit untuk pembagian (ke bit presisi) adalah sama. Oleh karena itu, setiap iterasi dapat dihitung dalam . Mengalikan dengan iterasi , kami menemukan bahwa keseluruhan waktu berjalan untuk menghitung akar kuadrat menjadi bit presisi adalah . Ini sub-kuadratik. $\stackrel{~}{O}(b \lg b)$ $b$ $\lg \lg b$ $b$ $\stackrel{~}{O}(n \lg n)$ $O(\lg n)$ $n$ $\stackrel{~}{O}(n (\lg n)^2)$

Saya pikir analisis yang lebih cermat menunjukkan bahwa ini dapat ditingkatkan menjadi waktu berjalan (dengan mempertimbangkan bahwa kita hanya perlu mengetahui setiap untuk mengetahui tentang bit presisi, daripada bit presisi). Namun, bahkan analisis yang lebih mendasar sudah menunjukkan waktu berjalan yang jelas subquadratic. $\stackrel{~}{O}(n \lg n)$ $x_j$ $j$ $n$

— DW
sumber

Dalam satu biner juga memiliki dugaan awal yang besar menggunakan identitas

. Alih-alih menghitung log, seseorang dapat memperkirakan

sebagai jumlah digit dalam

. Misalnya,

x^{1 / 2} = 2^{1 / 2 \log_{2} x}

$x^{1/2} = 2^{1/2 \log_2 x}$

\log_{2} x

$\log_2 x$

x

$x$

\log_{2} 101011 \approx 6

$\log_2 101011 \approx 6$

— Nick Alger

@ WD: Tapi bukankah kita mencari akar kuadrat integer? Jika Anda melakukan iterasi metode newton hanya menggunakan bilangan bulat aritmatika, maka kita perlu beberapa pembenaran tambahan untuk klaim

, bukan? Kalau tidak, kita mengasumsikan presisi yang cukup besar sudah ... Maaf jika saya kehilangan sesuatu yang jelas.

O (\log n)

$O(\log n)$

— Aryabhata

@DW:

$\;\;\;$ "Tingkat konvergensi untuk metode Newton" tidak akan kuadrat jika , dan saya tidak tahu apa yang terjadi untuk nilai yang bukan real-negatif. Perkiraan Anda untuk kompleksitas penggandaan bit lebih ketat dari yang disarankan komentar Anda berikut . Juga, kita "perlu mengetahui masing-masing untuk mengetahui tentang" "bit of precision".

c = 0

$c\hspace{-0.04 in}=\hspace{-0.04 in}0$

c

$c$

$\:$

x_{j}

$x_j$

2^{j}

$2^{\hspace{.02 in}j}$

$\;\;\;\;\;\;\;$

@Aryabhata:Kami tidak cukup "mencari akar kuadrat integer"; kami sedang mencari "lantai akar kuadrat". Anda benar tentang masalah aritmatika integer, meskipun kompleksitas bit yang sama berlaku untuk operasi floating-point.

$\;\;\;$

$\:$

$\;\;\;\;\;\;\;$

@ RickyDemer, ya, adalah kasus khusus, karena kemudian akar memiliki multiplisitas 2, tetapi ketika , root memiliki multiplisitas 1 sehingga metode Newton memang memiliki konvergensi kuadratik. Saya berasumsi tidak ada yang akan menggunakan metode Newton untuk menghitung akar kuadrat dari (karena akar kuadrat dari nol jelas nol). Jadi, apa yang ingin Anda katakan? Apakah komentar Anda adalah komentar sepele yang ditujukan dengan menambahkan sesuatu ke jawaban saya yang mengatakan "kasus khusus akar kuadrat dari nol", atau ada sesuatu yang lebih dalam di sini yang saya lewatkan?

c = 0

$c=0$

p (x)

$p(x)$

c > 0

$c>0$

c = 0

$c=0$

— DW

Salah satu masalah dengan metode Newton adalah bahwa ia membutuhkan operasi divisi di setiap iterasi, yang merupakan operasi integer dasar paling lambat.

Metode Newton untuk akar kuadrat resiprokal tidak. Jika adalah angka yang ingin Anda temukan $x$ , iterate: $\frac{1}{\sqrt x}$

r_{i + 1} = \frac{1}{2} r_{i} (3 - x r_{i}^{2})

$r_{i+1} = \frac{1}{2} r_i (3 - x r_i^2)$

Ini sering dinyatakan sebagai:

w_{i} = r_{i}^{2}

$w_i = r_i^2$

d_{i} = 1 - w_{i} x

$d_i = 1 - w_i x$

r_{i + 1} = r_{i} + \frac{r_{i} d_{i}}{2}

$r_{i+1} = r_i + \frac{r_i d_i}{2}$

Itu tiga operasi multiplikasi. Pembagian dengan dua dapat diimplementasikan sebagai shift-right.

Sekarang masalahnya adalah bahwa bukan bilangan bulat. Namun, Anda dapat memanipulasinya dengan menerapkan floating-point secara manual, dan melakukan banyak operasi shift untuk mengkompensasi bila perlu. $r$

Pertama, mari kita skala ulang : $x$

x^{'} = 2^{- 2 e} x

$x' = 2^{-2e} x$

di mana kita ingin lebih besar dari, tetapi mendekati, . Jika kita menjalankan algoritma di atas pada bukannya , kita menemukan $x'$ $1$ $x'$ $x$ . Lalu, $r = \frac{1}{\sqrt x'}$ . $\sqrt{x} = 2^e r x'$

Sekarang mari kita bagi menjadi mantissa dan eksponen: $r$

r_{i} = 2^{- e_{i}} r_{i}^{'}

$r_i = 2^{-e_i} r'_i$

di mana adalah bilangan bulat. Secara intuitif, mewakili ketepatan jawaban. $r'_i$ $e_i$

Kita tahu bahwa metode Newton secara kasar menggandakan jumlah digit signifikan yang akurat. Jadi kita dapat memilih:

e_{i + 1} = 2 e_{i}

$e_{i+1} = 2e_i$

Dengan sedikit manipulasi, kami menemukan:

e_{i + 1} = 2 e_{i}

$e_{i+1} = 2e_i$

w_{i} = {r_{i}^{'}}^{2}

$w_i = {r'_i}^2$

x_{i}^{'} = \frac{x}{2^{2 e - e_{i + 1}}}

$x'_i = \frac{x}{2^{2e - e_{i+1}}}$

d_{i} = 2^{e_{i + 1}} - \frac{w_{i}^{'} x_{i}^{'}}{2^{e_{i + 1}}}

$d_i = 2^{e_{i+1}} - \frac{w_i' x'_i}{2^{e_{i+1}}}$

r_{i + 1}^{'} = 2^{e_{i}} r_{i}^{'} - \frac{r_{i}^{'} d_{i}}{2^{e_{i} + 1}}

$r'_{i+1} = 2^{e_i} r'_i - \frac{r'_i d_i}{2^{e_i + 1}}$

Di setiap iterasi:

\sqrt{x} \approx \frac{r_{i}^{'} x}{2^{e + e_{i}}}

$\sqrt{x} \approx \frac{r'_i x}{2^{e + e_i}}$

Sebagai contoh, mari kita coba menghitung akar kuadrat dari . Kami kebetulan tahu bahwa jawabannya adalah $x = 2^{63}$ . Akar kuadrat resiprokal adalah $2^{31}\sqrt{2}$ , jadi kita akan menetapkan(ini adalah skala masalah) dan untuk tebakan awal kita akan memilihdan. (Yaitu, kami memilih $\frac{1}{\sqrt{2}} 2^{-31}$ $e = 31$ $r'_0 = 3$ $e_0 = 2$ untuk estimasi awal kami ke $\frac{3}{4}$ ) $\frac{1}{\sqrt{2}}$

Kemudian:

e_{1} = 4, r_{1}^{'} = 11

$e_1 = 4, r'_1 = 11$

e_{2} = 8, r_{2}^{'} = 180

$e_2 = 8, r'_2 = 180$

e_{3} = 16, r_{3}^{'} = 46338

$e_3 = 16, r'_3 = 46338$

e_{4} = 32, r_{4}^{'} = 3037000481

$e_4 = 32, r'_4 = 3037000481$

Kita bisa mengetahui kapan harus berhenti iterasi dengan membandingkan ke ; jika saya telah menghitung dengan benar, harus cukup baik. Kami akan berhenti di sini, dan menemukan: $e_i$ $e$ $e_i > 2e$

\sqrt{2^{63}} \approx \frac{3037000481 \times 2^{63}}{2^{31 + 32}} = 3037000481

$\sqrt{2^{63}} \approx \frac{3037000481 \times 2^{63}}{2^{31+32}} = 3037000481$

$3037000499$ $e_i$

Untuk menganalisis kompleksitas metode ini, perhatikan bahwa mengalikan dua $b$ $O(b \log b)$ $r'_i < 2^{e_i}$ $w_i$ $e_i$ $e_{i+1}$ $e_{i+1}$ $2e_{i+1}$ nomor-bit.

$O(e_i \log e_i)$ $O(\log e)$ $O(2e \log 2e)$ $O(e \log^2 e)$ $x$

Namun, analisis ini menyembunyikan prinsip penting yang harus diingat oleh semua orang yang bekerja dengan bilangan bulat besar: karena perkalian adalah superlinear dalam jumlah bit, setiap operasi penggandaan hanya boleh dilakukan pada bilangan bulat yang kira-kira besarnya presisi saat ini (dan , Saya dapat menambahkan, Anda harus mencoba untuk mengalikan angka-angka yang memiliki urutan yang sama besarnya). Menggunakan bilangan bulat lebih besar dari itu adalah usaha yang sia-sia. Faktor konstan penting, dan untuk bilangan bulat besar, mereka penting.

$\frac{ab}{2^c}$ $ab$ $c$

— Nama samaran
sumber

Ini barang bagus. Namun satu komentar: Bukankah kompleksitas bit dari pembelahan asimtotis kira-kira sama dengan kompleksitas bit dari perkalian? Jadi, Anda berbicara tentang sesuatu yang memberikan peningkatan faktor konstan, bukan peningkatan asimptotik, bukan? Itu tidak sepenuhnya jelas dari jawaban Anda.

— DW

b

$b$

O (b \lg b)

$O(b \lg b)$

O (b \lg b (\lg l g b)^{O (1)})

$O(b \lg b (\lg lg b)^{O(1)})$

@DW:

$\;\;\;$

b

$b$

O (b \log b)

$O(b\log b)$

$\:$ Kata "bit" hanya muncul sekali di situ; kalau tidak, saya sudah menunjukkan itu.

$\;\;\;\;\;\;\;$

Ini adalah faktor faktor konstan, ya. Algoritma pembagian integer besar terbaik menggunakan teknik yang sangat mirip dengan algoritma keseluruhan, seperti iterasi Newton-Raphson dan menggandakan presisi efektif pada setiap iterasi. Sebuah loop Newton-Raphson di dalam loop Newton-Raphson menumpuk pada faktor-faktor konstan! Ricky Demer benar; Saya sedang berpikir dalam model RAM kata. Saya mungkin harus menyebutkan ini.

— Nama samaran