Menggunakan korelasi sebagai metrik jarak (untuk pengelompokan hierarkis)

Saya ingin mengelompokkan data saya secara hierarkis, tetapi daripada menggunakan jarak Euclidean, saya ingin menggunakan korelasi. Juga, karena koefisien korelasi berkisar dari -1 hingga 1, dengan -1 dan 1 menunjukkan "peraturan bersama" dalam penelitian saya, saya memperlakukan -1 dan 1 sebagai d = 0. Jadi perhitungan saya adalah $\ d = 1-|r|$

Saya baca di pertanyaan terpisah (tentang k-means), bahwa Anda harus mengkonversi r menjadi benar euclidean d menggunakan teorema kosinus: $d = \sqrt{2(1-r)}$

Apa cara paling akurat untuk mengubah korelasi menjadi jarak untuk pengelompokan hierarkis?

— Megatron
sumber

Ya, salah satu yang mungkin - dan cara yang benar secara geometris - adalah rumus terakhir. Tetapi Anda dapat mengabaikan tanda

jika itu masuk akal untuk Anda, sehingga

. Dalam kebanyakan kasus, Anda dapat menjatuhkan

dengan aman tanpa memengaruhi hasil pengelompokan. Jarak dapat diperlakukan sebagai euclidean kuadrat . Dalam hal ini benang itu dibahas apakah tindakan korelasi jarak-dikonversi adalah metrik jarak.

r

$r$

d^{2} = 2 (1 - | r |)

$d^2=2(1-|r|)$

2

$2$

— ttnphns

Juga, Anda tidak harus selalu mengubah

menjadi ketidaksamaan linear seperti jarak euclidean. Tidak jarang orang melakukan pengelompokan berdasarkan

atau

seperti pada kesamaan, itu adalah kesamaan sudut

r

$r$

r

$r$

| r |

$|r|$

— ttnphns

Persyaratan untuk pengelompokan hierarkis

Hierarchical clustering dapat digunakan dengan langkah-langkah kesamaan dan ketidaksamaan yang sewenang-wenang. (Sebagian besar alat mengharapkan perbedaan, tetapi akan memungkinkan nilai negatif - terserah Anda untuk memastikan apakah nilai kecil atau besar akan lebih disukai.).

Hanya metode berdasarkan centroid atau varians (seperti metode Ward) yang istimewa, dan harus digunakan dengan Euclidean kuadrat. (Untuk memahami alasannya, harap pelajari hubungan ini dengan seksama.)

Hubungan tunggal, hubungan rata-rata, hubungan lengkap tidak banyak terpengaruh, itu masih akan menjadi minimum / rata-rata / maksimum dari perbedaan berpasangan.

Korelasi sebagai ukuran jarak

Jika Anda memproses ulang data Anda ( $n$ pengamatan, fitur $p$ ) sedemikian rupa sehingga setiap fitur memiliki $\mu=0$ dan $\sigma=1$ (yang melarang fitur konstan!), Maka korelasi berkurang menjadi cosinus:

Corr (X, Y) = \frac{Cov (X, Y)}{σ_{X} σ_{Y}} = \frac{E [(X - μ_{X}) (Y - μ_{Y})]}{σ_{X} σ_{Y}} = E [X Y] = \frac{1}{n} ⟨ X, Y ⟩

$\text{Corr} (X,Y) = \frac{\text{Cov}(X, Y)} {\sigma_X \sigma_Y} = \frac{\mathbb{E} \left[ (X - \mu_X) (Y - \mu_Y) \right]} {\sigma_X \sigma_Y} = \mathbb{E} [XY] = \frac1n \left<X, Y\right>$

Dalam kondisi yang sama, jarak Euclidean kuadrat juga berkurang menjadi cosinus:

d_{Euclid}^{2} (X, Y) = \sum (X_{i} - Y_{i})^{2} = \sum X_{i}^{2} + \sum Y_{i}^{2} - 2 \sum X_{i} Y_{i} = 2 n - 2 ⟨ X, Y ⟩ = 2 n [1 - Corr (X, Y)]

$d_\text{Euclid}^2(X,Y) = \sum (X_i - Y_i)^2 = \sum X_i^2 + \sum Y_i^2 - 2 \sum X_i Y_i \\ = 2n - 2\left<X, Y\right> = 2n \left[1 - \text{Corr}(X, Y)\right]$

Oleh karena itu, kecuali jika data Anda mengalami degenerasi, menggunakan korelasi untuk pengelompokan hierarkis harus baik-baik saja. Cukup praproses seperti dijelaskan di atas, lalu gunakan jarak Euclidean kuadrat.

— Anony-Mousse
sumber

Only ward's method is special, and should be used with squared Euclidean. Bukan hanya Ward. Setiap metode penghitungan centroid atau penyimpangan dari centroid akan memerlukan jarak euclidean atau kuadrat euclidean (tergantung pada implementasinya), demi presisi geometris. Dengan hilangnya peringatan semacam itu dan karena, mereka dapat digunakan dengan jarak metrik lainnya. Metode-metode itu adalah centroid, "median", Ward's, varians (jangan dikelirukan dengan Ward!) Dan beberapa lainnya.

— ttnphns

Terima kasih, saya sudah membuatnya lebih jelas. Saya tidak mengetahui variasi ini, saya hanya memikirkan satu / rata / lengkap / lingkungan.

— Anony-Mousse

⟨, ⟩

$\langle, \rangle$

d i m

$dim$