Apakah korelasi yang paling banyak diterbitkan dalam ilmu sosial tidak dapat dipercaya dan apa yang harus dilakukan tentang hal itu? [Tutup]

9

Meskipun upaya-upaya "gotcha" yang penting tetapi dilakukan oleh individu untuk mengungkap praktik jurnal predator , ancaman yang lebih besar dan lebih mendasar tampak dalam bayang-bayang penelitian ilmu sosial ( meskipun tentu saja ada beberapa masalah yang perlu ditangani oleh para peneliti ). Untuk langsung ke titik, menurut satu pandangan kita mungkin tidak dapat mempercayai koefisien korelasi yang berasal dari sampel yang lebih kecil dari 250 .

Seseorang akan kesulitan untuk menemukan tes yang lebih diandalkan untuk menyimpulkan keberadaan, arah, dan kekuatan hubungan antara langkah-langkah dalam ilmu sosial daripada koefisien korelasi tepercaya. Namun, orang tidak akan kesulitan untuk menemukan laporan peer-review membuat klaim kuat tentang hubungan antara dua konstruksi berdasarkan koefisien korelasi yang dihitung dari data dengan kurang dari 250 kasus.

Mengingat krisis replikasi saat ini menghadapi ilmu sosial (lihat tautan kedua di atas), bagaimana seharusnya kita melihat laporan ini mengenai stabilisasi koefisien korelasi hanya pada sampel besar (setidaknya oleh beberapa standar bidang ilmu sosial)? Apakah ini celah lain dalam dinding penelitian ilmu sosial yang ditinjau oleh rekan sejawat, ataukah itu adalah masalah yang relatif sepele yang telah terlalu banyak dibicarakan dalam presentasinya?

Karena tidak ada kemungkinan jawaban yang benar untuk pertanyaan ini, saya berharap untuk menghasilkan utas di mana sumber daya tentang pertanyaan ini dapat dibagikan, dipertimbangkan secara matang, dan diperdebatkan (tentu saja dengan sopan dan penuh hormat).

correlation methodology publication-bias

— Matt Barstead
sumber

Saya menyadari bahwa ini adalah pertanyaan berbasis opini dan mengabaikan pedoman umum situs. Faktanya adalah bahwa sejumlah besar orang datang ke situs ini untuk mengetahui statistik, termasuk pemahaman yang lebih baik tentang perangkap yang melekat dalam teknik yang mereka gunakan. Harapan saya adalah bahwa dalam mengajukan pertanyaan luas ini, saya dapat membantu dengan tujuan yang jelas-jelas kabur ini. Mempelajari cara menghitung kesalahan standar adalah satu hal. Mempelajari apa artinya menggunakannya saat mengambil keputusan yang seharusnya berbasis bukti adalah hal lain.

— Matt Barstead

Yang lebih buruk adalah bagaimana kasus-kasus "wajib 250" dipilih. Saya melihat semakin sering seseorang mengajukan permohonan untuk menyelesaikan survei yang mereka butuhkan untuk makalah atau tesis, di situs media sosial. Lengkap dengan topik survei. Benar-benar tidak menyadari bagaimana poeple akan memilih sendiri. Selamat tinggal pada sampel acak, karena poeple dalam kelompok sosial seseorang tidak acak, biasanya milik kelompok ideologis / politis / ekonomis yang serupa, dan juga memilih sendiri berdasarkan pada seberapa tertarik mereka pada topik tersebut. Isyarat untuk "90% mendukung X" , hanya karena mereka yang apatis tidak suka rela.

— vsz

7

Menambahkan interval kepercayaan untuk memperkirakan koefisien korelasi yang benar akan menjadi kecil (dan sangat sederhana) langkah pertama ke arah yang benar. Lebarnya langsung memberi Anda kesan pada presisi korelasi sampel Anda dan, pada saat yang sama, memungkinkan penulis dan juga audiens untuk menguji hipotesis yang berguna . Apa yang selalu membingungkan saya ketika berbicara dengan ahli statistik dari ilmu sosial bahwa koefisien korelasi sampel absolut di atas (atau batas lainnya) dianggap bermakna. Pada saat yang sama, mereka menguji hipotesis kerja $\rho$ $L = 0.3$ $\rho \ne 0$ . Ini tidak penting. Mengapa koefisien korelasi populasi yang sangat kecil tiba-tiba dianggap sebagai bermakna? Hipotesis kerja yang "benar" adalah . Memiliki interval kepercayaan untuk di tangan, hipotesis seperti ini dapat dengan mudah diuji: hanya memeriksa bahwa interval terletak seluruhnya di atas (atau di bawah ) dan Anda tahu apakah Anda dapat mengklaim "substansial" asosiasi statistik bahkan di populasi. $|\rho| > L$ $\rho$ $L$ $-L$

Tentu saja hanya menambahkan interval kepercayaan dan menggunakan tes yang berarti tidak akan menyelesaikan terlalu banyak masalah (seperti desain pengambilan sampel yang buruk, pertimbangan pembaur yang diabaikan dll.). Tetapi pada dasarnya ini gratis. Saya kira bahkan SPSS dapat menghitungnya!

— Michael M.
sumber

1

Memang, jika SPSS dapat melakukannya ... Pada catatan yang lebih serius, saya pikir ide untuk menekankan pada CI sangat masuk akal. Ini akan membantu upaya meta-analitik juga. Selain itu, bagi saya seolah-olah melaporkan CI bukan nilai p adalah sesuatu pendekatan yang sering dilakukan oleh pendekatan Bayesian. Saya selalu berpikir bahwa model Bayesian cenderung "merasa" lebih jujur karena mereka fokus pada pemodelan distribusi estimasi daripada menemukan estimasi kemungkinan maksimal untuk parameter populasi yang berasal dari sampel tunggal.

— Matt Barstead

4

Seperti yang dicatat oleh Michael M , kepercayaan dari korelasi yang dilaporkan - atau estimasi lainnya - dapat dinilai menggunakan interval kepercayaan. Sampai taraf tertentu. CI akan terlalu sempit jika model dipilih setelah pengumpulan data, yang saya perkirakan terjadi sekitar 95% dari waktu dalam ilmu sosial (yang sejujurnya saya nyatakan sebagai tebakan lengkap saya).

Obatnya ada dua:

Kita berbicara tentang " krisis replikasi ". Dengan demikian, replikasi yang gagal memberi tahu kami bahwa efek asli mungkin hanyalah noise acak. Kita perlu melakukan (dan mendanai, menulis, dan mengirim, dan menerima) lebih banyak ulangan. Studi replikasi perlahan mendapatkan kehormatan, dan itu adalah hal yang baik.
Obat kedua tentu saja meta-analisis . Jika kami memiliki banyak korelasi yang dilaporkan dari data yang serupa, bahkan jika setiap satu dari mereka memiliki rendah , maka kami dapat mengumpulkan informasi dan mempelajari sesuatu. Idealnya, kita bahkan dapat mendeteksi bias publikasi dalam proses. $n$

— Stephan Kolassa
sumber

@Stephen, pertanyaan: apa yang dimaksud dengan "replikasi", dia harus menggunakan data yang sama atau data yang berbeda untuk mereplikasi studi asli? Apakah ada perbedaan antara replikasi dan pengulangan?

— peramal

Untuk poin pertama Anda, saya pikir beberapa tahun terakhir telah melihat gerakan nyata di depan replikasi. Sebuah bab yang akan datang menawarkan beberapa saran bagi para peneliti emosi yang saya pikir diterjemahkan dengan baik untuk sejumlah subbidang dalam ilmu perilaku.

— Matt Barstead

@forecaster: replikasi harus dilakukan dengan data baru yang dikumpulkan secara independen, jika tidak , Anda tidak akan belajar sesuatu yang baru . "Pengulangan" bukanlah istilah yang saya temui. Tentu saja, selalu ada pertanyaan tentang apakah publikasi asli cukup rinci sehingga orang lain benar - benar dapat mengulangi analisisnya.

— Stephan Kolassa