Bisakah Anda mereproduksi hasil tes chi-squared ini?

Di Skeptics.StackExchange , sebuah jawaban mengutip sebuah studi tentang hipersensitivitas elektro-magnetik:

McCarty, Carrubba, Chesson, Frilot, Gonzalez-Toledo & Marino, Hipersensitivitas Elektromagnetik: Bukti untuk Sindrom Neurologis Novel Jurnal Internasional Neuroscience, 00, 1-7 2011, DOI: 10.3109 / 00207454.2011.608139

Saya meragukan beberapa statistik yang digunakan, dan akan sangat menghargai beberapa keahlian dalam memeriksa ulang apakah mereka digunakan dengan tepat.

Gambar 5a menunjukkan hasil subjek yang berusaha mendeteksi ketika generator medan elektromagnetik dihidupkan.

Ini adalah versi yang disederhanakan:

 Actual:   Yes  No
Detected:
  Yes       32  19
  No       261 274

Mereka mengklaim telah menggunakan uji chi-squared, dan menemukan signifikansi (p <0,05, tanpa menyatakan apa p.)

Frekuensi respon somatik dan perilaku di hadapan dan tidak adanya lapangan dievaluasi menggunakan uji chi-square (2 × 2 tabel) atau ekstensi Freeman-Halton dari uji probabilitas eksak Fisher (2 × 3 tabel; Freeman & Halton, 1951).

Saya melihat beberapa masalah.

Mereka mengecualikan beberapa data - lihat Tabel 5b - di mana mereka meninggalkan perangkat untuk waktu yang lama. Saya tidak bisa melihat pembenaran dalam memisahkan data itu.
Mereka tampaknya mengklaim hasilnya signifikan secara statistik ketika perangkat yang sebenarnya aktif, tetapi tidak ketika itu tidak. (Saya mungkin salah membaca ini; tidak jelas.) Itu bukan hasil yang bisa diberikan oleh uji chi-square, bukan?
Ketika saya mencoba mereproduksi tes ini dengan kalkulator on-line, saya menganggapnya tidak signifikan secara statistik.

Ini adalah pertanyaan saya yang sebenarnya: Apakah saya benar mengatakan ini ?: Tes dua-sisi, uji kuadrat menggunakan Fisher's Exact Test adalah cara yang tepat untuk menganalisis data ini DAN TIDAK signifikan secara statistik.

statistical-significance chi-squared

— Berpikir aneh
sumber

Apakah variabel "terdeteksi" dan "aktual" diamati pada unit yang sama? Jika demikian maka saya akan mengatakan ini adalah masalah simetri.

— Momo

@Momo: Saya kira jawabannya adalah Ya. Ada 600 percobaan. Pada 300, perangkat itu benar-benar hidup, dan 300 lainnya perangkatnya benar-benar mati. Subjek ditanya apakah dia bisa mendeteksi radiasi elektromagnetik, dan menjawab Ya atau Tidak. Dalam 14 kasus, dia gagal menjawab dan mereka telah dikeluarkan. Dalam 535 kasus dia berkata Tidak, yang berarti sensitivitasnya rendah (jika ada sama sekali). Tidak yakin bagaimana itu membuat masalah simetri - tautan apa pun yang bisa saya baca untuk mempelajari lebih lanjut?

— Oddthinking

Ok terima kasih. Saya baru menyadari bahwa masalah simetri tampaknya merupakan ungkapan yang tidak digunakan dalam bahasa Inggris, jadi maaf untuk itu. Apa yang saya maksudkan adalah bahwa klasifikasi silang tidak berasal dari unit independen tetapi bahwa unit yang sama berulang kali diminta dan karena itu adalah pengukuran berpasangan atau berulang yang diatur.

— Momo

Sebagai catatan: Ada Surat kepada Editor mengenai makalah ini. Ini menantang beberapa klasifikasi (post-hoc?) Keparahan yang digunakan dalam Tabel 3a (Percobaan 1 dan 2), memperingatkan risiko bias publikasi dan kebutuhan untuk mereplikasi. Itu tidak mengeluh tentang data pada Tabel 5.

— Oddthinking

Mungkin juga perlu dicatat bahwa tabel ini tepat pada margin kelihatan "signifikan": jika hanya satu deteksi yang salah klasifikasi, uji Fisher (yang sesuai untuk digunakan) akan mengembalikan nilai p sebesar 10,9%. Jika klaim itu luar biasa atau kontroversial, orang akan membutuhkan bukti yang jauh lebih kuat daripada ini untuk menerima kesimpulan dari asosiasi positif.

— whuber

Tampak bagi saya bahwa ada tiga hal yang salah dengan kesimpulannya.

Pertama, seperti yang dikatakan @caracal: Mereka melaporkan "signifikansi" menggunakan tes satu sisi, tanpa mengatakan bahwa mereka melakukannya. Kebanyakan orang, saya pikir, merekomendasikan untuk menggunakan tes dua sisi hampir selalu. Tentu saja tidak masalah menggunakan tes satu-ekor tanpa mengatakannya.

Kedua, efeknya kecil. Ketika ada sinyal, subjek (hanya ada satu) mendeteksi itu 11% dari waktu (32/293). Ketika tidak ada sinyal, dia mendeteksi sinyal 6,5% dari waktu. Perbedaan itu tampaknya sangat kecil. Dan subjek tidak dapat mendeteksi sinyal 89% dari waktu!

Ketiga, seperti yang ditunjukkan oleh @oddthinking, ada beberapa pelaporan data selektif yang tidak dijelaskan atau dibenarkan dengan benar (saya tidak membaca koran dengan cermat, jadi saya hanya mengulangi apa yang ada di pos asli).

— Harvey Motulsky
sumber

Tes Fisher pada tabel yang diberikan memberikan, sesuai kode ini

actual <- c(rep("Y", 32), rep("N", 19), rep("Y", 261), rep("N", 274))
det <- c(rep("Y", 51), rep("N", 535))
table(det,actual) 
fisher.test(det,actual)

ap = 0,08

— Peter Flom
sumber

apakah Anda akan mengatakan bahwa tes Fisher sesuai untuk tabel kontingensi ini?

— Momo

Tapi itu nilai-p dua sisi. Saya kira hipotesisnya satu sisi (

p ("yes" | yes) > p ("yes" | no)

$p(\text{"yes"} | \text{yes}) > p(\text{"yes"} | \text{no})$ , memberikan nilai p 0,039.

— caracal

@caracal: Apakah Anda ingin menguraikan alasan Anda dan mengubahnya menjadi jawaban?

— Oddthinking

@Oddinkink Maaf, saat ini saya tidak punya waktu untuk membaca skim dan berpikir tentang masalah pengambilan sampel / desain eksperimental yang relevan dengan pertanyaan.

— caracal