Adjusted Rand Index vs Adjusted Mutual Information

Saya mencoba mengevaluasi kinerja pengelompokan. Saya sedang membaca dokumentasi skiscit-learning tentang metrik . Saya tidak mengerti perbedaan antara ARI dan AMI. Tampak bagi saya bahwa mereka melakukan hal yang sama dalam dua cara berbeda.

Mengutip dari dokumentasi:

Mengingat pengetahuan tentang tugas kelas kebenaran ground label_true dan penugasan algoritma pengelompokan sampel sampel yang sama dengan label_pred, indeks Rand yang disesuaikan adalah fungsi yang mengukur kesamaan dari dua tugas, mengabaikan permutasi dan dengan normalisasi peluang.

vs.

Mengingat pengetahuan penugasan kelas kebenaran tanah label_true dan penugasan algoritma pengelompokan sampel sampel yang sama dengan label_pred, Informasi Mutual adalah fungsi yang mengukur perjanjian dua penugasan, mengabaikan permutasi ... AMI diusulkan baru-baru ini dan dinormalisasi terhadap kesempatan.

Haruskah saya menggunakan keduanya dalam evaluasi pengelompokan saya atau apakah ini berlebihan?

clustering python scikit-learn

— al27091
sumber

Pak Rand tidak acak.

— Memiliki QUIT - Anony-Mousse

Jawaban:

Mereka adalah dua dari selusin yang semuanya mencoba membandingkan pengelompokan.

Tetapi mereka tidak setara. Mereka menggunakan teori yang berbeda.

Terkadang, ARI dapat lebih memilih satu hasil dan AMI yang lain. Tetapi seringkali mereka setuju dalam preferensi (bukan dalam angka).

— Memiliki QUIT - Anony-Mousse
sumber

Apa yang Anda maksud dengan: "mereka setuju dalam preferensi (bukan dalam angka)?"

— al27091

Ketika Anda membandingkan beberapa hasil.

— Memiliki QUIT - Anony-Mousse

Aturan praktisnya adalah:

Gunakan ARI ketika pengelompokan kebenaran tanah memiliki kelompok besar yang berukuran sama
Usa AMI ketika pengelompokan kebenaran tanah tidak seimbang dan ada kelompok kecil

Saya mengerjakan topik ini. Referensi: Menyesuaikan untuk Tindakan Perbandingan Clustering Peluang

— Simone
sumber

Saya menerapkan HDBSCAN dan KMeans pada beberapa set data saya dengan jumlah cluster yang tepat untuk KMeans dan ukuran cluster min yang benar untuk HDBSCAN. Masalah saya adalah bahwa perkembangan dalam AMI tidak berkorelasi dengan perkembangan dalam ARI. Saya mendapatkan rata-rata 0,3 dan 0,35 di AMI yang rendah. Saya mendapatkan hasil ARI mendekati rata-rata 0: 0,07 dan 0,01. Bahkan dalam kasus di mana saya memperoleh AMI yang lebih baik dengan HDBSCAN, skor ARI saya sangat dekat dengan 0 yaitu HDBSCAN menghasilkan ARI lebih rendah daripada KMeans bahkan dalam kasus di mana AMI lebih tinggi.

— ryuzakinho

Apa jenis hasil pengelompokan yang berarti 0,3 dan 0,35 untuk AMI sesuai?

— Simone

pastebin.com/raw/WHvTxbLm Ini adalah salah satu kasus yang saya tidak mengerti: Lebih baik AMI tidak berarti ARI yang lebih baik dan sebaliknya. Apakah ada alasan mengapa saya akan mempercayai perbaikan relatif dari satu atau yang lain. Saya tidak yakin metrik mana yang harus dilihat untuk meningkatkan hasil saya (dari makalah yang Anda tautkan, saya rasa seharusnya AMI diberikan distribusi kelas saya tapi saya masih bingung).

— ryuzakinho

Dalam kasus Anda, hasil HDBSCAN menunjukkan cluster yang sangat besar dan banyak yang kecil yang secara definisi merupakan solusi yang tidak seimbang. Oleh karena itu AMI lebih besar dengan DBSCAN. Kebenaran dasar Anda lebih seimbang daripada solusi itu. Oleh karena itu, saya akan menggunakan ARI untuk memilih solusinya di sini. Ini mengatakan, sepertinya solusi pengelompokan yang Anda peroleh tidak sebaik itu. Mungkin itu karena Anda memiliki banyak kluster. Bisakah Anda mengurangi jumlah cluster yang Anda inginkan? Atau apakah Anda memiliki fitur untuk dipertimbangkan daripada menggunakan pengelompokan berbasis jarak murni?

— Simone

Setelah pengujian yang lebih kualitatif, ternyata AMI lebih dapat diandalkan untuk kasus penggunaan saya. Memang, AMI mengatakan bahwa HDBSCAN lebih baik, dan saya merasa lebih baik. Meskipun saya memiliki satu kluster kebisingan besar, kluster lainnya lebih murni daripada kluster KMEANS.

— ryuzakinho