Cara yang efisien untuk menghitung jarak antara centroid dari matriks jarak

Mari kita memiliki matriks simetris kuadrat dari jarak euclide kuadrat antara titik dan vektor memanjang menunjukkan keanggotaan kelompok atau klaster ( k cluster) dari titik-titik tersebut; sebuah cluster dapat terdiri dari \ ge1 point.$\bf D$$n$$n$$k$$\ge1$

Apa cara yang paling efisien atau sangat efisien (dalam hal kecepatan) untuk menghitung jarak antara cluster centroid di sini?

Sejauh ini saya selalu melakukan analisis Koordinator Kepala Sekolah dalam situasi ini. PCoA, atau MDS Torgerson merupakan jumlah pertama yang mengkonversi $\bf D$ ke dalam matriks produk skalar $\bf S$ ("pemusatan ganda") dan kemudian melakukan PCA untuknya. Dengan cara ini kita membuat koordinat untuk $n$ poin dalam ruang euclidean yang direntangkan. Setelah itu, mudah untuk menghitung jarak antara centroid dengan cara biasa - seperti yang Anda lakukan dengan grouped points x variablesdata. PCoA hubungannya eigen-dekomposisi atau SVD dari n x nsimetris positif semidefinite $\bf S$ , tapi $n$bisa sangat besar. Selain itu, tugasnya bukan pengurangan dimensi dan kita tidak benar-benar membutuhkan sumbu utama ortogonal itu. Jadi saya punya perasaan bahwa dekomposisi ini mungkin berlebihan.

Jadi, apakah Anda memiliki pengetahuan atau ide tentang cara yang berpotensi lebih cepat?

Biarkan poin diindeks , semuanya dalam . Biarkan menjadi indeks untuk satu cluster dan indeks untuk cluster lain. Centroid adalah$x_1, x_2, \ldots, x_n$$\mathbb{R}^d$$\mathcal{I}$$\mathcal{J}$

$$c_\mathcal{I} = \frac{1}{|\mathcal{I}|} \sum_{i\in\mathcal{I}} x_i,\ c_\mathcal{J} = \frac{1}{|\mathcal{J}|} \sum_{j\in\mathcal{J}} x_j$$

dan diinginkan untuk menemukan jarak dalam hal jarak kuadrat .$||c_\mathcal{I} - c_\mathcal{J}||^2$$D_{ij} = ||x_i - x_j||^2$

Persis seperti kita akan memecah jumlah kuadrat dalam perhitungan ANOVA, identitas aljabar adalah

$$||c_\mathcal{I} - c_\mathcal{J}||^2 = \frac{1}{|\mathcal{I}||\mathcal{J}|} \left(SS(\mathcal{I \cup J}) -\left(|\mathcal{I}|+|\mathcal{J}|\right) \left(\frac{1}{|\mathcal{I}|}SS(\mathcal{I}) + \frac{1}{|\mathcal{J}|}SS(\mathcal{J})\right)\right)$$

di mana " " mengacu pada jumlah kuadrat jarak antara setiap titik dalam satu set dan centroid mereka. The identitas polarisasi kembali mengungkapkan ini dalam hal jarak kuadrat antara semua titik:$SS$

$$SS(\mathcal{K}) = \frac{1}{2}\sum_{i,j\,\in\,\mathcal{K}} ||x_i - x_j||^2 = \sum_{i\lt j\,\in\,\mathcal{K}} D_{ij}.$$

Oleh karena itu upaya komputasi adalah , dengan konstanta implisit yang sangat kecil. Ketika cluster kira-kira berukuran sama dan ada di antaranya, ini adalah , yang berbanding lurus dengan jumlah entri dalam : itu akan menjadi yang terbaik yang bisa diharapkan.$O((|\mathcal{I}|+|\mathcal{J}|)^2)$$k$$O(n^2/k^2)$$D$

---

R kode untuk menggambarkan dan menguji perhitungan berikut ini.

ss <- function(x) {
  n <- dim(x)[2]
  i <- rep(1:n, n)
  j <- as.vector(t(matrix(i,n)))
  d <- matrix(c(1,1) %*% (x[,i] - x[,j])^2 , n) # The distance matrix entries for `x`
  sum(d[lower.tri(d)])
}
centroid <- function(x) rowMeans(x)
distance2 <- function(x,y) sum((x-y)^2)
#
# Generate two clusters randomly.
#
n.x <- 3; n.y <- 2
x <- matrix(rnorm(2*n.x), 2)
y <- matrix(rnorm(2*n.y), 2)
#
# Compare two formulae.
#
cat("Squared distance between centroids =",
    distance2(centroid(x), centroid(y)),
    "Equivalent value =", 
    (ss(cbind(x,y)) - (n.x + n.y) * (ss(x)/n.x + ss(y)/n.y)) / (n.x*n.y),
    "\n")