Apa perbedaan utama antara korelasi dan informasi timbal balik?

15

pertanyaan saya khususnya berlaku untuk rekonstruksi jaringan

correlation mutual-information

25

Korelasi mengukur hubungan linier (korelasi Pearson) atau hubungan monotonik (korelasi Spearman) antara dua variabel, X dan Y.

Informasi timbal balik lebih umum dan mengukur pengurangan ketidakpastian Y setelah mengamati X. Ini adalah jarak KL antara kerapatan sambungan dan produk kerapatan individu. Jadi MI dapat mengukur hubungan non-monotonik dan hubungan yang lebih rumit lainnya.

— Rob Hyndman
sumber

3

Korelasi tidak harus linier - Spearman rho bergantung pada fungsi monotonik, namun, kami menyebutnya sebagai "koefisien korelasi", bukan "koefisien informasi timbal balik". Dan untuk alasan yang baik: ini memberikan informasi tentang hubungan antara dua variabel. Informasi timbal balik, informasi yang berlebihan, perbedaan timbal balik, korelasi - istilah-istilah ini sangat mirip, dan pertanyaan ini mengacu pada rekonstruksi jaringan , jadi saya kira kita berakhir di area yang salah dengan terminologi yang benar. Ini pertanyaan yang cukup spesifik ...

— aL3xa

1

Poin yang bagus. Saya telah mengedit jawaban saya untuk memasukkan hubungan monoton. Saya tidak tahu apa-apa tentang rekonstruksi jaringan.

— Rob Hyndman

4

Untuk menambah jawaban Rob ... sehubungan dengan merekayasa balik jaringan, MI mungkin lebih disukai daripada korelasi ketika Anda ingin mengekstrak tautan kausal daripada asosiatif di jaringan Anda. Jaringan korelasi murni asosiatif. Tetapi untuk MI, Anda membutuhkan lebih banyak data dan daya komputasi.

— ars
sumber