Uji signifikansi pada perbedaan koefisien korelasi Spearman

(Terima kasih banyak atas tanggapan cepatnya! Saya melakukan pekerjaan yang buruk dalam mengajukan pertanyaan, jadi izinkan saya mencoba lagi.)

Saya tidak tahu bagaimana cara mengetahui apakah perbedaan antara dua korelasi Spearman signifikan secara statistik. Saya ingin tahu bagaimana cara mengetahuinya.

Alasan saya ingin mengetahuinya adalah bahwa dalam makalah berikut: Interpretasi Semantik berbasis Wikipedia untuk Pemrosesan Bahasa Alami , oleh Gabrilovich dan Markovitch ( Jurnal Riset Kecerdasan Buatan 34 (2009) 443-498).

Dalam Tabel 2 (p. 457), penulis menunjukkan bahwa metode mereka (ESA-Wikipedia) mencapai korelasi Spearman yang lebih tinggi dan signifikan secara statistik daripada metode lain, dan saya ingin melakukan hal yang sama untuk menunjukkan bahwa metode saya lebih baik daripada sebelumnya. metode untuk beberapa masalah.

Saya tidak tahu bagaimana mereka menghitung signifikansi statistik, dan saya ingin tahu. Penulis makalah ini menyatakan bahwa korelasi peringkat Spearman diperlakukan sebagai korelasi Pearson. Saya tidak yakin apakah itu cara yang tepat untuk melakukannya. Saya memiliki dua korelasi Spearman dan saya ingin tahu apakah perbedaan di antara keduanya signifikan secara statistik atau tidak.

Saya menyadari bahwa situs web, seperti http://faculty.vassar.edu/lowry/rdiff.html , menyediakan kalkulator online untuk mendapatkan perbedaan antara dua korelasi Pearson. Saya tidak dapat menemukan kalkulator daring yang serupa untuk perbedaan antara dua korelasi Spearman.

Solusi dari tautan yang disediakan oleh Peter Flom

CATATAN: Prosedur hanya mendukung korelasi Spearman yang di bawah 0,6.

Mari = Fisher mengubah korelasi yang diamati dari himpunan , = Fisher mengubah korelasi yang diamati dari set . $z_A$ $A$ $z_B$ $B$
Untuk , biarkan , di mana adalah transformasi Fisher himpunan dari korelasi satu-kiri-keluar yang diperoleh oleh menghapus , menentukan peringkat ulang, dan menghitung kembali korelasinya. (Setiap didasarkan pada $i = 1,\dots,n$ $y_{A_i} = nz_A- (n - 1)z_{A'i}$ $z_{A'i}$ $A$ $(x_i,y_i)$ $z_{A'i}$ pasang; setiap penghapusan sementara, untuk itu saya hanya, tidak permanen.) Ulangi untuk set . $n-1$ $B$
adalah transformasi Fisher yang didongkrak. Ulangi untuk set. $\bar y_A = \sum y_{A_i}/n$ $B$
adalah varian dari . Ulangi untuk set . $v_{\bar y_A} = \sum (y_{A_i}-\bar y_A)^2 /(n(n-1))$ $\bar y_A$ $B$
Gunakan uji heteroscedastic (Welch-Satterthwaite) untuk membandingkan dua perkiraan yang diperjelas: $t$

manadanadalah jumlah sampel himpunandanmasing-masing.

t = \frac{{\bar{y}}_{A} - {\bar{y}}_{B}}{\sqrt{v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}}}}, df = \frac{(v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}})^{2}}{\frac{v_{{\bar{y}}_{A}}^{2}}{n_{A} - 1} + \frac{v_{{\bar{y}}_{B}}^{2}}{n_{B} - 1}}

$t = \frac{\bar y_A - \bar y_B}{\sqrt{v_{\bar y_A} + v_{\bar y_B}}},\quad \text{df}=\frac{(v_{\bar y_A} + v_{\bar y_B})^2}{\frac{v_{\bar y_A}^2}{n_A-1}+\frac{v_{\bar y_B}^2}{n_B-1}}$

n_{A}

$n_A$

n_{B}

$n_B$

A

$A$

B

$B$

Sebelum diedit terlebih dahulu

Saya telah mendapatkan seperangkat peringkat berperingkat manusia (PERINGKAT MANUSIA), seperangkat peringkat yang dihasilkan oleh metode populer yang digunakan saat ini (PRESENT-PERINGKAT), dan akhirnya seperangkat peringkat yang dihasilkan oleh metode yang saya maksudkan (MY-RANKING) .

Saya menghitung korelasi Spearman antara PERINGKAT MANUSIA dan PERINGKAT PRESENT. Biar saya sebut ini: MANUSIA-PRESENT-SPEARMAN.

Saya kemudian menemukan korelasi Spearman antara PERINGKAT MANUSIA dan PERINGKAT SAYA. Biar saya sebut ini: MANUSIA-MY-SPEARMAN.

Bagaimana saya bisa mengetahui apakah perbedaan antara MANUSIA-SAYA-SPEARMAN dan MANUSIA-PRESENT-SPEARMAN signifikan secara statistik?

hypothesis-testing statistical-significance spearman-rho

— Patrick Chan
sumber

Selamat datang Patrick. Saya berjuang dengan masalah yang sama tetapi dengan Pearson r. Jika Anda memeriksa entri saya, Anda akan merasakan apa yang dapat Anda lakukan.

— Adhesh Josh

Meskipun Anda mungkin memiliki kesulitan membingkai pertanyaan ini dalam istilah statistik - akan berguna jika kami tahu apa yang sebenarnya Anda minati. Apakah Anda tertarik pada kedekatan korelasi (Seberapa dekat skor memprediksi satu sama lain) atau keberadaan suatu hubungan lebih dari kebetulan. Mengingat bahwa Anda tampaknya memiliki data peringkat, diulangi dalam waktu mungkin berguna untuk membaca koefisien korelasi intra-kelas. Saya harap saya memiliki hak itu, pertanyaannya tidak sepenuhnya jelas.

— rosser

Terima kasih Adhesh dan rosser. Saya minta maaf atas uraian pertanyaan saya yang buruk. Saya telah menulis ulangnya. Semoga ini menjadi pertanyaan yang bisa dimengerti.

— Patrick Chan

Hai! Saat ini saya sedang berjuang dengan masalah yang sama. Apakah Anda kebetulan memiliki kode yang siap yang mengimplementasikan saran Anda? Juga, mengapa itu hanya bekerja untuk nilai korelasi di bawah 0,6?

— fsociety

Makalah yang Anda kutip menjelaskan metode dalam istilah berikut:

[...] kami menunjukkan signifikansi statistik dari perbedaan antara kinerja versi ESA-Wikipedia (26 Maret 2006) dan algoritma lainnya dengan menggunakan transformasi z Fisher (Press, Teukolsky, Vetterling, & Flannery, Numerical) Resep dalam C: Seni Komputasi Ilmiah . Cambridge University Press, 1997, Bagian 14.5).

Saya sarankan Anda mengikuti referensi itu, atau melihat halaman Wikipedia pada koefisien Spearman untuk detailnya.

— Guillermo G.
sumber

Terima kasih Guillermo. Saya menduga mereka memperlakukan korelasi peringkat Spearman sebagai korelasi Pearson dan menghitung perbedaan dua korelasi Pearson. Namun, menurut saya itu bukan cara yang tepat untuk melakukannya, jadi saya membuat posting di sini.

— Patrick Chan

Apakah Anda mungkin mengetahui implementasi yang berjalan (lebih disukai on-line) karena inilah yang diinginkan OP?

— chl