kompleksitas komputasi k-NN

Apa kompleksitas waktu dari algoritma k -NN dengan pendekatan pencarian naif (tidak ada pohon kd atau similars)?

Saya tertarik pada kompleksitas waktunya mempertimbangkan juga hyperparameter k . Saya telah menemukan jawaban yang bertentangan:

O (nd + kn), di mana n adalah kardinalitas set pelatihan dan d dimensi masing-masing sampel. [1]
O (ndk), di mana lagi n adalah kardinalitas set pelatihan dan d dimensi masing-masing sampel. [2]

[1] http://www.csd.uwo.ca/courses/CS9840a/Lecture2_knn.pdf (Bag. 18/20)

[2] http://www.cs.haifa.ac.il/~rita/ml_course/lectures/KNN.pdf (Bag. 18/31)

k-nearest-neighbour time-complexity

— Daniel López
sumber

Dengan asumsi adalah tetap (seperti yang dilakukan oleh kedua kuliah terkait), maka pilihan algoritmik Anda akan menentukan apakah perhitungan Anda membutuhkan runtime runtime atau runtime . $k$ $O(nd+kn)$ $O(ndk)$

Pertama, mari kita pertimbangkan algoritma runtime : $O(nd+kn)$

Inisialisasi untuk semua pengamatan pada set pelatihan $selected_i = 0$ $i$
Untuk setiap pelatihan set observasi , hitung , jarak dari observasi baru ke training set observasi $i$ $dist_i$ $i$
Untuk hingga : Lewati semua pengamatan set pelatihan, pilih indeks dengan nilai terkecil dan untuk mana . Pilih pengamatan ini dengan mengatur . $j=1$ $k$ $i$ $dist_i$ $selected_i=0$ $selected_i=1$
Kembalikan indeks yang dipilih $k$

Setiap perhitungan jarak membutuhkan runtime , sehingga langkah kedua membutuhkan runtime . Untuk setiap iterate pada langkah ketiga, kami melakukan pekerjaan dengan mengulang melalui pengamatan set pelatihan, sehingga langkah keseluruhan membutuhkan pekerjaan . Langkah pertama dan keempat hanya membutuhkan bekerja, jadi kami mendapatkan runtime . $O(d)$ $O(nd)$ $O(n)$ $O(nk)$ $O(n)$ $O(nd+kn)$

Sekarang, mari kita pertimbangkan algoritma runtime : $O(ndk)$

Inisialisasi untuk semua pengamatan pada set pelatihan $selected_i = 0$ $i$
Untuk hingga : Lewati semua pengamatan set pelatihan dan hitung jarak antara observasi set pelatihan yang dipilih dan observasi baru. Pilih indeks dengan nilai terkecil yang . Pilih pengamatan ini dengan mengatur . $j=1$ $k$ $d$ $i$ $d$ $selected_i=0$ $selected_i=1$
Kembalikan indeks yang dipilih $k$

Untuk setiap iterate pada langkah kedua, kita menghitung jarak antara pengamatan baru dan setiap pengamatan pelatihan set, membutuhkan bekerja untuk iterasi dan karena itu kerja secara keseluruhan. $O(nd)$ $O(ndk)$

Perbedaan antara kedua algoritma adalah bahwa yang pertama precomputes dan menyimpan jarak (membutuhkan memori tambahan), sedangkan yang kedua tidak. Namun, mengingat bahwa kita sudah menyimpan seluruh rangkaian pelatihan, membutuhkan memori , serta vektor , membutuhkan penyimpanan , penyimpanan kedua algoritma tersebut asimptotik. sama. Hasilnya, runtime asimptotik yang lebih baik untuk membuat algoritma pertama lebih menarik. $O(n)$ $O(nd)$ $selected$ $O(n)$ $k > 1$

Perlu dicatat bahwa dimungkinkan untuk mendapatkan runtime menggunakan peningkatan algoritmik: $O(nd)$

Untuk setiap pelatihan set observasi , hitung , jarak dari observasi baru ke training set observasi $i$ $dist_i$ $i$
Jalankan algoritma QuickSelect untuk menghitung jarak terkecil di runtime $k^{th}$ $O(n)$
Kembali semua indeks tidak lebih besar dari yang dihitung jarak terkecil $k^{th}$

Pendekatan ini mengambil keuntungan dari fakta bahwa pendekatan yang efisien ada untuk menemukan nilai terkecil dalam array disortir. $k^{th}$

— Josliber
sumber

Jawaban yang bagus dan saya terutama menyukai saran penggunaan quickselect.

— usεr11852 mengatakan Reinstate Monic

Satu pertanyaan lagi: untuk opsi ketiga saya percaya bahwa kompleksitas waktu harus O (nd + k), karena Anda masih harus menghitung label paling umum di antara k-tetangga terdekat untuk mengeluarkan prediksi, kan?

— Daniel López

k \leq n

$k \leq n$

O (n d + k)

$O(nd+k)$

O (n d)

$O(nd)$

Terakhir kali saya mengganggu Anda: mencoba menentukan kompleksitas komputasi dari versi k -NN yang saya modifikasi, saya mendapatkan yang berikut: O (nd + nd / p) Di mana menurut definisi n , d dan p adalah bilangan bulat yang lebih besar daripada nol. Bisakah saya menyederhanakannya menjadi O (nd) ?

— Daniel López

@Daniel Yes, in that case

O (n d)

$O(nd)$ works.

— josliber