Bagaimana cara mengganggu wasit statistik?

Baru-baru ini saya mengajukan pertanyaan mengenai prinsip-prinsip umum seputar peninjauan statistik di makalah . Apa yang sekarang ingin saya tanyakan adalah apa yang secara khusus membuat Anda jengkel ketika meninjau sebuah makalah, yaitu apa cara terbaik untuk benar-benar mengganggu seorang wasit statistik!

Tolong, satu contoh per jawaban.

Yang secara khusus membuat saya jengkel adalah orang-orang yang jelas menggunakan paket yang ditulis pengguna untuk perangkat lunak statistik tetapi tidak mengutipnya dengan benar, atau sama sekali, sehingga gagal memberikan kredit kepada penulis. Melakukan hal itu sangat penting ketika penulis berada di dunia akademis dan pekerjaan mereka bergantung pada penerbitan makalah yang dikutip . (Mungkin saya harus menambahkan bahwa, di bidang saya, banyak pelakunya bukan ahli statistik.)

Ya ampun, banyak hal yang terlintas dalam pikiran ...

• Regresi bertahap

• Membagi data berkelanjutan menjadi kelompok-kelompok

• Memberikan nilai-p tetapi tidak mengukur ukuran efek

• Menjelaskan data menggunakan mean dan deviasi standar tanpa menunjukkan apakah data lebih atau kurang simetris dan unimodal

• Angka-angka tanpa keterangan yang jelas (apakah kesalahan itu membatasi kesalahan standar dari rata-rata, atau standar deviasi dalam kelompok, atau apa?)

Irene Stratton dan rekannya menerbitkan sebuah makalah pendek tentang pertanyaan yang berkaitan erat:

Stratton IM, Neil A. Cara memastikan makalah Anda ditolak oleh pengulas statistik . Obat Diabetes 2005; 22 (4): 371-373.

Kode yang digunakan untuk menghasilkan hasil simulasi tidak disediakan. Setelah meminta kode, itu menuntut pekerjaan tambahan untuk membuatnya berjalan pada dataset yang dihasilkan wasit.

Plagiarisme (teoretis atau metodologis). Ulasan pertama saya memang untuk sebuah makalah yang mencari banyak copy / paste yang tidak direferensikan dari sebuah makalah metodologi yang diterbitkan 10 tahun yang lalu.

Baru saja menemukan beberapa makalah menarik tentang topik ini: Kepenulisan dan plagiarisme dalam sains .

Dalam nada yang sama, saya menemukan pemalsuan (data atau hasil) yang terburuk dari semua.

Ketika kami meminta penulis

1. komentar kecil tentang ide yang kami miliki (dalam hal ini, ini tidak dianggap sebagai alasan untuk menolak makalah tetapi hanya untuk memastikan penulis dapat mendiskusikan POV lain), atau
2. hasil yang tidak jelas atau bertentangan,

dan bahwa penulis tidak benar-benar menjawab dalam kasus (1) atau bahwa hasil yang diduga dalam (2) hilang dari MS.

Nilai p yang membingungkan dan ukuran efek (yaitu menyatakan efek saya besar karena saya memiliki nilai p yang sangat kecil).

Sedikit berbeda dari jawaban Stephan untuk mengecualikan ukuran efek tetapi memberikan nilai-p. Saya setuju Anda harus memberikan keduanya (dan semoga memahami perbedaannya!)

Tidak termasuk ukuran efek.

P-ing seluruh penelitian (saya harus memuji profesor lulusan sekolah favorit saya untuk baris itu).

Memberikan jumlah digit yang tidak masuk akal (laki-laki naik 3,102019 pound lebih banyak daripada wanita)

Tidak termasuk nomor halaman (yang membuat sulit untuk ditinjau)

Angka dan tabel salah angka

(seperti yang telah disebutkan - stepwise dan kategorisasi variabel kontinu)

Ketika mereka tidak cukup menjelaskan analisis mereka dan / atau memasukkan kesalahan sederhana yang membuatnya sulit untuk mengetahui apa yang sebenarnya dilakukan. Ini sering termasuk melemparkan banyak jargon, dengan cara penjelasan, yang lebih ambigu daripada yang tampaknya disadari oleh penulis dan juga dapat disalahgunakan.

Menggunakan bahasa kausal untuk menggambarkan asosiasi dalam data pengamatan ketika variabel yang dihilangkan hampir pasti merupakan masalah serius.

Ketika penulis menggunakan satu uji statistik yang mereka tahu (di bidang saya, biasanya uji-t atau ANOVA), ad infinitum, terlepas dari apakah itu sesuai. Saya baru-baru ini meninjau sebuah makalah di mana penulis ingin membandingkan selusin kelompok perlakuan yang berbeda, sehingga mereka telah melakukan uji-t dua sampel untuk setiap kemungkinan pasangan perawatan ...

Muncul dengan kata-kata baru untuk konsep yang ada, atau, sebaliknya, menggunakan istilah yang ada untuk menunjukkan sesuatu yang berbeda.

Beberapa perbedaan terminologi yang ada telah lama dibahas dalam literatur: data longitudinal dalam biostatistik vs data panel dalam ekonometrik; indikator sebab dan akibat dalam sosiologi vs. indikator formatif dan reflektif dalam psikologi; dll. Saya masih membenci mereka, tetapi setidaknya Anda dapat menemukan beberapa ribu referensi untuk masing-masing dari mereka dalam literatur masing-masing. Yang paling baru adalah seluruh rangkaian pekerjaan ini pada grafik asiklik langsung dalam literatur sebab-akibat: sebagian besar, jika tidak semua, teori identifikasi dan estimasi dalam ini telah dikembangkan oleh para ahli ekonometrika pada 1950-an dengan nama persamaan simultan.

Istilah yang memiliki dua kali lipat, jika tidak rangkap tiga, artinya, "kuat", dan makna yang berbeda sering bertentangan. Kesalahan standar "Kuat" tidak kuat untuk pencilan jauh; Selain itu, mereka tidak kuat untuk melawan apa pun kecuali penyimpangan yang diasumsikan dari model, dan sering memiliki kinerja sampel kecil suram. Kesalahan standar White tidak kuat terhadap korelasi serial atau cluster; kesalahan standar "kuat" dalam SEM tidak kuat terhadap kesalahan spesifikasi struktur model (jalur atau variabel yang dihilangkan). Sama seperti dengan gagasan pengujian signifikansi hipotesis nol, tidak mungkin untuk menunjukkan siapa pun dan berkata: "Anda bertanggung jawab untuk membingungkan beberapa generasi peneliti untuk menciptakan konsep ini yang tidak benar-benar sesuai dengan namanya".

Tidak ada pertimbangan untuk data yang hilang.

Banyak aplikasi praktis menggunakan data yang setidaknya memiliki beberapa nilai yang hilang. Ini tentu sangat benar dalam epidemiologi. Data yang hilang menyajikan masalah bagi banyak metode statistik - termasuk model linier. Data yang hilang dengan model linier sering ditangani melalui penghapusan kasus dengan data yang hilang pada kovariat apa pun. Ini adalah masalah, kecuali jika data hilang dengan asumsi bahwa data tidak ada secara acak (MCAR).

Mungkin 10 tahun yang lalu, masuk akal untuk mempublikasikan hasil dari model linier tanpa pertimbangan lebih lanjut akan hilangnya. Saya tentu saja bersalah atas hal ini. Namun, saran yang sangat bagus tentang bagaimana menangani data yang hilang dengan imputasi ganda sekarang banyak tersedia, seperti paket statistik / model / perpustakaan / dll. untuk memfasilitasi analisis yang lebih tepat dengan asumsi yang lebih masuk akal ketika ada ketidakhadiran.

Melaporkan efek yang "mendekati signifikansi (p <.10 misalnya) dan kemudian menulis tentang mereka seolah-olah mereka telah mencapai signifikansi pada tingkat yang lebih ketat dan dapat diterima. Menjalankan beberapa Model Persamaan Struktural yang tidak disarangkan dan kemudian menulis tentang mereka seolah-olah mereka diambil. Mengambil strategi analitik yang mapan dan menyajikannya seolah-olah tidak ada yang pernah berpikir untuk menggunakannya sebelumnya. Mungkin ini memenuhi syarat sebagai plagiarisme ke tingkat ke-9.

Saya merekomendasikan dua artikel berikut:

Martin Bland:
Cara Mengacaukan Wasit Statistik
Ini didasarkan pada serangkaian pembicaraan yang diberikan oleh Martin Bland, bersama dengan data dari wasit statistik lain ('sampel yang mudah digunakan dengan tingkat respons yang rendah'). Itu berakhir dengan daftar 11-poin '[h] ow untuk menghindari mengecewakan wasit statistik'.

Stian Lydersen: Tinjauan
statistik: sering diberikan komentar
Makalah baru-baru ini (diterbitkan 2014/2015) mencantumkan 14 komentar ulasan paling umum penulis, berdasarkan sekitar. 200 ulasan statistik makalah ilmiah (dalam jurnal tertentu). Setiap komentar memiliki penjelasan singkat tentang masalah dan petunjuk tentang cara untuk benar melakukan analisis / pelaporan. Daftar referensi yang dikutip adalah harta karun makalah menarik.

Saya paling (dan paling sering) kesal oleh "validasi" yang mengarah pada kesalahan generalisasi model prediktif di mana data uji tidak independen (mis. Biasanya beberapa pengukuran per pasien dalam data, out-of-bootstrap atau lintas memecah validasi pengukuran tidak pasien ).

Bahkan lebih menjengkelkan, makalah yang memberikan hasil validasi silang cacat tersebut ditambah satu set tes independen yang menunjukkan bias optimisasi silang yang berlebihan tetapi tidak satu kata pun bahwa desain validasi silang salah ...

(Saya akan sangat senang jika data yang sama akan disajikan, "kami tahu validasi silang harus membagi pasien, tetapi kami terjebak dengan perangkat lunak yang tidak memungkinkan ini. Oleh karena itu kami menguji serangkaian pasien uji yang benar-benar independen sebagai tambahan. ")

(Saya juga sadar bahwa bootstrap = resampling dengan penggantian biasanya berkinerja lebih baik daripada cross validation = resampling tanpa penggantian. Namun, kami menemukan data spektroskopi (simulasi spektra dan pengaturan model sedikit buatan tetapi spektra nyata) yang mengulangi / mengulangi validasi silang dan keluar -of-bootstrap memiliki ketidakpastian keseluruhan yang serupa; oob memiliki lebih banyak bias tetapi lebih sedikit varians - untuk rewetting, saya melihat ini dari perspektif yang sangat pragmatis: validasi silang berulang vs out-of-bootstrap tidak masalah selama banyak makalah tidak membagi pasien-bijaksana atau melaporkan / mendiskusikan / menyebutkan ketidakpastian acak karena ukuran sampel tes terbatas.)

Selain salah, ini juga memiliki efek samping bahwa orang yang melakukan validasi yang tepat sering kali harus membela mengapa hasil mereka jauh lebih buruk daripada semua hasil lainnya dalam literatur.

Menggunakan "data" dalam arti tunggal. Data ADALAH, mereka tidak pernah ada.

Bagi saya sejauh ini, menghubungkan sebab tanpa analisis sebab akibat yang tepat atau ketika ada inferensi kausal yang tidak tepat.

Saya juga benci ketika tidak ada perhatian diberikan pada bagaimana data yang hilang ditangani. Saya melihat begitu banyak makalah juga di mana penulis hanya melakukan analisis kasus lengkap dan tidak menyebutkan apakah hasilnya dapat digeneralisasikan kepada populasi dengan nilai yang hilang atau bagaimana populasi dengan nilai yang hilang mungkin secara sistematis berbeda dari populasi dengan data lengkap.

Menggunakan Microsoft Word daripada LaTeX.