k-means || alias Scalable K-Means ++

Bahman Bahmani et al. memperkenalkan k-means ||, yang merupakan versi lebih cepat dari k-means ++.

Algoritma ini diambil dari halaman 4 makalah mereka , Bahmani, B., Moseley, B., Vattani, A., Kumar, R., & Vassilvitskii, S. (2012). K-means yang dapat diskalakan ++. Prosiding Endowment VLDB , 5 (7), 622-633.

Sayangnya saya tidak mengerti huruf-huruf Yunani yang mewah itu, jadi saya perlu bantuan untuk memahami bagaimana ini bekerja. Sejauh yang saya pahami, algoritma ini adalah versi perbaikan dari k-means ++, dan menggunakan oversampling, untuk mengurangi jumlah iterasi: k-means ++ harus mengulangi kali, di mana adalah jumlah cluster yang diinginkan.$k$$k$

Saya mendapat penjelasan yang sangat bagus melalui contoh konkret tentang cara kerja k-means ++, jadi saya akan menggunakan contoh yang sama lagi.

Contoh

Saya memiliki dataset berikut:

(7,1), (3,4), (1,5), (5,8), (1,3), (7,8), (8,2), (5,9), (8) , 0)

$k = 3$ (jumlah cluster yang diinginkan)

$\ell = 2$ (faktor oversampling)

Saya mulai menghitungnya, tetapi saya tidak yakin apakah saya melakukannya dengan benar, dan tidak tahu tentang Langkah 2, 4, atau 5.

• Langkah 1: sampel secara seragam secara acak dari$\mathcal{C} \leftarrow$$X$

  Katakanlah centroid pertama adalah (sama seperti dalam k-means ++)$(8,0)$

• Langkah 2:$\psi \leftarrow \phi_X(\mathcal{C})$

  tidak ada ide

• Langkah 3:

  • $d^2(x, \mathcal{C}) = [2, 41, 74, 73, 58, 65, 4, 90]$

    Kami menghitung jarak kuadrat ke pusat terdekat ke setiap titik. Dalam hal ini kami hanya memiliki satu pusat sejauh ini .$(8,0)$

  • $\ell \cdot d^2(x, \mathcal{C}) = [4, 81, 148, 146, 116, 130, 8, 180]$

    (Karena dalam hal ini.)$\ell = 2$

  • $\text{cumulative } \ell \cdot d^2(x, \mathcal{C}) = [4, 85, 233, 379, 495, 625, 633, 813]$

    Pilih angka acak dalam interval . Katakanlah Anda memilih dan . Mereka berada dalam kisaran dan yang masing-masing sesuai dengan item ke-4 dan ke-8.[ 0 , 813 ) 246.90 659.42 [ 379 , 495 ) [ 633 , 813 $\ell = 2$$[0, 813)$$246.90$$659.42$$[379, 495)$$[633, 813)$

  • Ulangi kali, tetapi apa itu (dihitung pada Langkah 2) dalam kasus ini? $\mathcal{O}(\log \psi)$$\psi$

• Langkah 4: Untuk , atur menjadi jumlah poin di lebih dekat ke daripada titik lain di .w x X x $x \in \mathcal{C}$$w_x$$X$$x$$\mathcal{C}$
• Langkah 5: Sertakan poin-poin tertimbang dalam ke dalam cluster.$\mathcal{C}$$k$

Bantuan apa pun secara umum atau dalam contoh khusus ini akan bagus.

poin data: (7,1), (3,4), (1,5), (5,8), (1,3), (7,8), (8,2), (5,9) , (8,0)

l = 2 // faktor oversampling

k = 3 // tidak. cluster yang diinginkan

Langkah 1:

Misalkan centroid pertama adalah adalah . { c 1 } = { ( 8 , 0 ) } X = { x $\mathcal{C}$$\{ c_1\} = \{ (8,0) \}$$X = \{x_1,x_2,x_3,x_4,x_5,x_6,x_7,x_8\}=\{(7,1),(3,4),(1,5),(5,8),(1,3),(7,8),(8,2),(5,9)\}$

Langkah 2:

$\phi_X(\mathcal{C})$ adalah jumlah dari semua jarak 2-norma terkecil (jarak euclidean) dari semua titik dari himpunan ke semua titik dari . Dengan kata lain, untuk setiap titik di menemukan jarak ke titik terdekat di , di menghitung akhirnya jumlah dari semua jarak minimal, satu untuk setiap titik di .$X$$\mathcal{C}$$X$$\mathcal{C}$$X$

Ditunjukkan dengan sebagai jarak dari ke titik terdekat di . Kami kemudian memiliki .$d^2_{\mathcal{C}}(x_i)$$x_i$$\mathcal{C}$$\psi = \sum_{i=1}^{n}d^2_{\mathcal{C}}(x_i)$

Pada langkah 2, berisi elemen tunggal (lihat langkah 1), dan adalah himpunan semua elemen. Jadi pada langkah ini, hanyalah jarak antara titik dalam dan . Dengan demikian . X d 2 C$\mathcal{C}$$X$$d^2_{\mathcal{C}}(x_i)$$\mathcal{C}$$x_i$$\phi = \sum_{i=1}^{n}{||x_i-c||^2}$

$\psi = \sum_{i=1}^nd^2(x_i,c_1) = 1.41+6.4+8.6+8.54+7.61+8.06+2+9.4 = 52.128$ $log(\psi) = log(52.128) = 3.95 = 4 (rounded)$

Perhatikan bahwa pada langkah 3, rumus umum diterapkan karena akan berisi lebih dari satu titik.$\mathcal{C}$

Langkah 3:

The untuk loop dieksekusi untuk yang sebelumnya dihitung.$log(\psi)$

Gambar tidak seperti yang Anda mengerti. Gambar-gambar yang independen, yang berarti Anda akan mengeksekusi hasil seri untuk setiap titik di . Jadi, untuk setiap titik dalam , dilambangkan sebagai , hitung probabilitas dari . Di sini Anda memiliki faktor diberikan sebagai parameter, adalah jarak ke pusat terdekat, dan dijelaskan pada langkah 2.X x i p x = l d $X$$X$$x_i$$p_x = l d^2(x,\mathcal{C})/\phi_X(\mathcal{C})$$l$$d^2(x,\mathcal{C})$$\phi_X(\mathcal{C})$

Algoritma ini sederhana:

• iterate di untuk menemukan semua$X$$x_i$
• untuk setiap hitung$x_i$$p_{x_i}$
• menghasilkan angka yang seragam dalam , jika lebih kecil dari pilih untuk membentuk$[0, 1]$$p_{x_i}$$\mathcal{C'}$
• setelah Anda selesai menggambar semua termasuk poin yang dipilih dari ke$\mathcal{C'}$$\mathcal{C}$

Perhatikan bahwa pada setiap langkah 3 dieksekusi dalam iterasi (baris 3 dari algoritma asli) Anda berharap untuk memilih poin dari (ini dengan mudah ditampilkan menulis langsung rumus untuk harapan).$l$$X$

for(int i=0; i<4; i++) {

  // compute d2 for each x_i
  int[] psi = new int[X.size()];
  for(int i=0; i<X.size(); i++) {
    double min = Double.POSITIVE_INFINITY;
    for(int j=0; j<C.size(); j++) {
      if(min>d2(x[i],c[j])) min = norm2(x[i],c[j]);
    }
    psi[i]=min;
  }

  // compute psi
  double phi_c = 0;
  for(int i=0; i<X.size(); i++) phi_c += psi[i];

  // do the drawings
  for(int i=0; i<X.size(); i++) {
    double p_x = l*psi[i]/phi;
    if(p_x >= Random.nextDouble()) {
      C.add(x[i]);
      X.remove(x[i]);
    }
  }
}
// in the end we have C with all centroid candidates
return C;

Langkah 4:

Sebuah algoritma sederhana untuk itu adalah untuk menciptakan vektor ukuran sama dengan jumlah elemen dalam , dan menginisialisasi semua nilai dengan . Sekarang iterasi di (elemen tidak dipilih sebagai centroid), dan untuk setiap , cari indeks dari centroid terdekat (elemen dari ) dan kenaikan dengan . Pada akhirnya Anda akan memiliki vektor dihitung dengan benar.C 0 X x i ∈ X j C w [ j ] 1 $w$$\mathcal{C}$$0$$X$$x_i \in X$$j$$\mathcal{C}$$w[j]$$1$$w$

double[] w = new double[C.size()]; // by default all are zero
for(int i=0; i<X.size(); i++) {
  double min = norm2(X[i], C[0]);
  double index = 0;
  for(int j=1; j<C.size(); j++) {
    if(min>norm2(X[i],C[j])) {
      min = norm2(X[i],C[j]);
      index = j;
    }
  }
  // we found the minimum index, so we increment corresp. weight
  w[index]++;
}

Langkah 5:

Mengingat bobot dihitung pada langkah sebelumnya, Anda mengikuti algoritma kmeans ++ untuk memilih hanya poin sebagai awal centroid. Dengan demikian, Anda akan mengeksekusi untuk loop, pada setiap loop memilih elemen tunggal, yang diambil secara acak dengan probabilitas untuk setiap elemen menjadi . Pada setiap langkah Anda memilih satu elemen, dan menghapusnya dari kandidat, juga menghapus bobot yang sesuai.k k p ( i ) = w ( i ) / ∑ m j = 1 w $w$$k$$k$$p(i) = w(i)/\sum_{j=1}^m{w_j}$

for(int k=0; k<K; k++) {
  // select one centroid from candidates, randomly, 
  // weighted by w
  // see kmeans++ and you first idea (which is wrong for step 3)
  ... 
}  

Semua langkah sebelumnya berlanjut, seperti dalam kasus kmeans ++, dengan aliran normal dari algoritma clustering

Saya harap lebih jelas sekarang.

[Nanti, edit nanti]

Saya juga menemukan presentasi yang dibuat oleh penulis, di mana Anda tidak dapat dengan jelas bahwa pada setiap iterasi beberapa poin mungkin dipilih. Presentasinya ada di sini .

[Kemudian edit masalah @ pera]

Jelas bahwa tergantung pada data dan masalah yang Anda ajukan akan menjadi masalah nyata jika algoritme akan dieksekusi pada satu host / mesin / komputer. Namun Anda harus perhatikan bahwa varian kmanans clustering ini didedikasikan untuk masalah besar, dan untuk berjalan pada sistem terdistribusi. Terlebih lagi, para penulis, dalam paragraf berikut di atas deskripsi algoritma menyatakan sebagai berikut:$log(\psi)$

Perhatikan bahwa ukuran secara signifikan lebih kecil dari ukuran input; Oleh karena itu reclustering dapat dilakukan dengan cepat. Misalnya, di MapReduce, karena jumlah pusat kecil, mereka semua dapat ditugaskan ke satu mesin dan algoritma aproksimasi yang dapat dibuktikan (seperti k-means ++) dapat digunakan untuk mengelompokkan titik-titik untuk mendapatkan pusat k. Implementasi MapReduce dari Algoritma 2 dibahas dalam Bagian 3.5. Meskipun algoritma kami sangat sederhana dan cocok untuk implementasi paralel alami (dalam ), bagian yang menantang adalah untuk menunjukkan bahwa ia memiliki jaminan yang dapat dibuktikan.l o g ( ψ $C$$log(\psi)$

Hal lain yang perlu diperhatikan adalah catatan berikut pada halaman yang sama yang menyatakan:

Dalam praktiknya, hasil percobaan kami di Bagian 5 menunjukkan bahwa hanya beberapa putaran yang cukup untuk mencapai solusi yang baik.

Yang berarti Anda dapat menjalankan algoritme bukan untuk waktu , tetapi untuk waktu konstan yang diberikan.$log(\psi)$