Kebutuhan memori untuk perkalian matriks cepat

12

Misalkan kita ingin mengalikan matriks. Algoritma multiplikasi matriks lambat berjalan dalam waktu dan menggunakan memori . Perkalian matriks tercepat berjalan dalam waktu , di mana adalah konstanta aljabar linier, tetapi apa yang diketahui tentang kompleksitas memorinya? $n \times n$ $O(n^3)$ $O(n^2)$ $n^{\omega + o(1)}$ $\omega$

Tampaknya mungkin apriori bahwa perkalian matriks cepat mengkonsumsi memori . Apakah ada jaminan bahwa hal itu dapat dilakukan dalam memori ? Apakah itu kasus bahwa algoritma penggandaan matriks yang dikenal saat ini menggunakan memori ? $n^{\omega}$ $O(n^2)$ $O(n^2)$

(Saya sebenarnya tertarik pada multiplikasi matriks persegi panjang, tapi saya berasumsi bahwa jawabannya akan sama dalam kasus itu untuk kasus persegi, dan kasus persegi lebih baik dipelajari.)

ds.algorithms linear-algebra

— David Harris
sumber

16

Penggunaan ruang paling banyak untuk semua algoritma Strassen-like (yaitu yang didasarkan pada batas atas peringkat perkalian matriks secara aljabar). Lihat Kompleksitas ruang dari algoritma Coppersmith – Winograd $O(n^2)$

Namun, saya menyadari dalam jawaban saya sebelumnya bahwa saya tidak menjelaskan mengapa penggunaan ruang adalah ... jadi begini sesuatu yang bergelombang. Pertimbangkan apa yang dilakukan algoritma seperti Strassen. Dimulai dari algoritma tetap untuk perkalian matriks yang menggunakan perkalian untuk beberapa konstanta . Secara khusus, algoritma ini (apa pun itu) dapat ditulis WLOG sehingga: $O(n^2)$ $K \times K$ $K^c$ $c < 3$

Ini menghitung matriks yang berbeda yang entri multiply dari matriks pertama oleh berbagai skalar dan matriks dari matriks kedua dari bentuk serupa, $K^c$ $L_1,\ldots,L_{K^c}$ $A$ $K^c$ $R_1,\ldots,R_{K^c}$ $B$
Ini melipatgandakan kombinasi linear , lalu $L_i \cdot R_i$
Ini mengalikan entri dari oleh berbagai skalar, kemudian menambahkan semua matriks ini sampai entrywise untuk mendapatkan . $L_i \cdot R_i$ $A \cdot B$

(Ini adalah yang disebut "bilinear" algoritma, tapi ternyata bahwa setiap "aljabar" algoritma perkalian matriks dapat ditulis dengan cara ini.) Untuk setiap , algoritma ini hanya memiliki untuk menyimpan produk saat ini dan nilai saat ini dari (awalnya diatur ke semua-nol) dalam memori pada titik tertentu, sehingga penggunaan ruang adalah . $i=1,\ldots,K^c$ $L_i \cdot R_i$ $A \cdot B$ $O(K^2)$

Mengingat algoritma yang terbatas ini, kemudian diperluas ke sewenang-wenang matriks, dengan melanggar matriks besar menjadi blok dari dimensi , menerapkan terbatas algoritma untuk blok matriks, dan memanggil algoritma secara rekursif setiap kali perlu mengalikan dua blok. Pada setiap tingkat rekursi, kita hanya perlu menyimpan elemen bidang dalam memori (menyimpan $K^{\ell} \times K^{\ell}$ $K \times K$ $K^{\ell-1}\times K^{\ell-1}$ $K \times K$ $O(K^{2\ell})$ $O(1)$ berbeda matriks). Dengan asumsi penggunaan ruang untuk perkalian matriks adalah , penggunaan ruang dari algoritma rekursif ini adalah , yang untuk $K^{\ell} \times K^{\ell}$ $K^{\ell-1}\times K^{\ell-1}$ $S(\ell-1)$ $S(\ell) \leq S(\ell-1) + O(K^{2\ell})$ $S(1) = 2K^2$ memecahkan ke . $S(\ell) \leq O(K^{2\ell})$

— Ryan Williams
sumber

n^{ω}

$n^\omega$

ω

$\omega$

n^{ω}

$n^\omega$

ω (n^{2})

$\omega(n^2)$

1

O (n^{ω + δ})

$O(n^{\omega + \delta})$

O (n^{2})

$O(n^2)$

δ > 0

$\delta > 0$

f (i) * n^{2}

$f(i) * n^2$

i = 0, . . ., k

$i = 0, ..., k$

n^{ω + o (1)}

$n^{\omega+o(1)}$

n^{2 + o (1)}

$n^{2+o(1)}$

k

$k$

f

$f$

k

$k$

f^{- 1}

$f^{-1}$

f

$f$

k

$k$

k

$k$

n^{2 + o (1)}

$n^{2+o(1)}$

n

$n$

k

$k$

k

$k$

n

$n$

f (k (n)) = n^{o (1)}

$f(k(n)) = n^{o(1)}$

k (n) \to \infty

$k(n) \rightarrow \infty$

n

$n$

n^{ω + o (1)}

$n^{\omega+o(1)}$

4

$p$ $O(n^2/p)$

— Alexander Tiskin
sumber