Mengelompokkan rumus inersia dalam scikit belajar

Saya ingin kode kmeans pengelompokan dalam python menggunakan panda dan scikit belajar. Untuk memilih k yang baik, saya ingin mengkodekan Statistik Gap dari Tibshirani dan al 2001 ( pdf ).

Saya ingin tahu apakah saya dapat menggunakan hasil inersia_ dari scikit dan mengadaptasi formula statistik gap tanpa harus mengkode ulang semua perhitungan jarak.

Adakah yang tahu rumus inersia yang digunakan dalam scikit / tahu cara mudah untuk mengode ulang statistik gap menggunakan fungsi jarak level tinggi?

— Menggaruk
sumber

Saya pikir pertanyaan ini memiliki konten statistik yang cukup untuk menjadi topik untuk CV, tetapi perhatikan bahwa ini membutuhkan pemrograman yang cukup canggih & pengetahuan Python juga. Mungkin sulit mendapatkan jawaban yang bagus. Anda mungkin ingin meminta / bersedia menerima pseudocode juga, & / atau Anda mungkin perlu membagi pertanyaan ini menjadi 2 bagian, 1 di sini tentang aspek statistik & 1 bagian tentang Stack Overflow tentang aspek pemrograman Python. (Atau mungkin tidak, saya tidak tahu pasti, tetapi saya hanya ingin memberi Anda peringatan yang adil; kita akan lihat bagaimana kelanjutannya.)

— gung - Reinstate Monica

Pertanyaan ini membutuhkan istilah "inersia" untuk didefinisikan. Sepertinya diciptakan di dalam python.

— ttnphns

Saya kira saya menemukan jawaban saya untuk pengelompokan kmeans:

Dengan melihat kode sumber git, saya menemukan bahwa untuk scikit belajar, inersia dihitung sebagai jumlah jarak kuadrat untuk setiap titik ke pusat massa terdekat, yaitu, cluster yang ditugaskan. Jadi mana adalah centroid dari cluster yang ditugaskan dan adalah jarak kuadrat. $I = \sum_{i}(d(i,cr))$ $cr$ $d$

Sekarang formula gap statistic melibatkan manaadalah jumlah dari jarak kuadrat antara semua titik dalam klaster.

W_{k} = \sum_{r = 1}^{k} \frac{1}{(2 * n_{r})} D_{r}

$W_k = \sum_{r=1}^{k}\frac 1 {(2*n_r) }D_r$

D_{r}

$D_r$

r

$r$

Dengan memperkenalkan , dalam rumus jarak kuadrat ( menjadi pusat koordinat cluster ), saya memiliki istilah yang sesuai dengan Inersia (seperti dalam scikit) + istilah yang hilang jika setiap adalah barycentre dari setiap cluster (yang seharusnya dalam kmeans). Jadi saya kira sebenarnya scikit Inersia. $+c$ $-c$ $c$ $r$ $c$ $W_k$

Saya masih punya dua pertanyaan:

Apakah Anda pikir kalkulus saya benar? (Misalnya, saya tidak tahu apakah itu berlaku untuk pengelompokan hierarkis.)
Jika saya benar di atas, saya telah mengode statistik gap (sebagai perbedaan inertias log antara estimasi dan clustering) dan kinerjanya buruk terutama pada set data iris, apakah ada yang mencobanya?

— Menggaruk
sumber

Yang terbaik adalah tidak mengajukan pertanyaan dalam jawaban Anda. Jika ini bukan jawaban untuk pertanyaan Anda, tetapi hanya solusi parsial untuk memperjelas pertanyaan yang sebenarnya, akan lebih baik untuk mengedit pertanyaan Anda & rekatkan informasi ini di.

— gung - Reinstate Monica

@ Gores apakah Anda pernah mendapatkan implementasi python dari statistik gap untuk bekerja pada set data Iris? Saya berjuang dengan masalah yang sama.

— Zelazny7

Ya saya kode satu bulan yang lalu. Bagaimana saya bisa mengirimkan itu kepada Anda?

— Gores

W_{k} = \sum_{r = 1}^{k} \frac{D_{r}}{(2 * n_{r})}

$W_k = \sum_{r=1}^{k}\frac {D_r} {(2*n_r) }$