Klasifikasi pembelajaran mesin big-O atau kompleksitas

Untuk mengevaluasi kinerja algoritma klasifikasi baru, saya mencoba untuk membandingkan akurasi dan kompleksitas (big-O dalam pelatihan dan klasifikasi). Dari Machine Learning: ulasan saya mendapatkan daftar pengklasifikasi lengkap yang diawasi, juga tabel akurasi antara algoritma, dan 44 masalah pengujian dari repositoy data UCI . Namun, saya tidak dapat menemukan ulasan, kertas, atau situs web dengan big-O untuk pengklasifikasi umum seperti:

C4.5
RIPPER (Saya pikir ini mungkin tidak mungkin, tetapi siapa yang tahu)
JST dengan Propagasi Balik
Bayesian yang naif
K-NN
SVM

Jika ada yang punya ekspresi untuk pengklasifikasi ini, itu akan sangat berguna, terima kasih.

— Dinl
sumber

Anda mungkin tertarik pada artikel berikut: thekerneltrip.com/machine/learning/... Penafian penuh, ini adalah blog saya :)

— RUser4512

Peduli untuk melacak kembali lokasi-lokasi di mana tautan mati dari pertanyaan itu menunjuk?

— matt

@ RUser4512 musyawarah blog benar-benar hebat! Sudahkah Anda mempertimbangkan untuk menambah kompleksitas ruang?

— matt

@matt Terima kasih :) ya, tapi mungkin di artikel lain, ada banyak hal untuk dikatakan tentang ini juga!

— RUser4512

Misalkan = jumlah contoh pelatihan, = dimensi fitur dan $N$ $d$ = jumlah kelas. $c$

Kemudian pelatihan memiliki kompleksitas:

Naif Bayes adalah , yang perlu dilakukan hanyalah menghitung frekuensi setiap nilai fitur $O(Nd)$ $d_i$ untuk masing-masing kelas.
-NN ada di (beberapa orang bahkan mengatakan itu tidak ada, tetapi kompleksitas ruang pelatihan adalah $k$ $\mathcal{O}(1)$ $\mathcal{O}(Nd)$ karena Anda perlu menyimpan data yang juga membutuhkan waktu).
$O(N^2)$ $O(N^3)$ $O(N^3)$ $O(N^{2.3})$ dengan beberapa trik.
$O(NR)$ mana R adalah jumlah iterasi.

Kompleksitas pengujian:

$\mathcal{O}(cd)$ $d$ $c$ kelas .
$k$ $\mathcal{O}(Nd)$ karena Anda harus membandingkan titik uji dengan setiap titik data di basis data Anda.

Sumber: "Mesin Vektor Inti: Pelatihan SVM Cepat tentang Kumpulan Data Sangat Besar" - http://machinelearning.wustl.edu/mlpapers/paper_files/TsangKC05.pdf

Maaf saya tidak tahu tentang yang lain.

— samthebest
sumber

Tidak sepenuhnya benar: kompleksitas pelatihan kernel SVM ada di antaranya

O (n^{2})

$O(n^2)$ dan

O (n^{3})

$O(n^3)$ tergantung pada C ; Lihat mis. Dukungan Pemecah Mesin Vektor oleh Bottou dan Lin (bagian 4.2).

— Marc Claesen

@MarcClaesen Tautan tidak berfungsi lagi dan tidak ada di mesin jalan balik. Apakah ini kertas yang sama: leon.bottou.org/publications/pdf/lin-2006.pdf ?

— kata