Meninjau statistik dalam makalah

Bagi sebagian dari kita, kertas wasit adalah bagian dari pekerjaan. Ketika meringkas makalah metodologi statistik, saya pikir saran dari bidang studi lain cukup berguna, yaitu ilmu komputer dan Matematika .

Pertanyaan ini menyangkut meninjau makalah statistik yang lebih terapan. Maksud saya, makalah ini diserahkan ke jurnal non-statistik / matematika dan statistik hanya disebutkan di bagian "metode".

Beberapa pertanyaan khusus:

1. Berapa banyak upaya yang harus kita lakukan untuk memahami bidang aplikasi?
2. Berapa banyak waktu yang harus saya habiskan untuk laporan?
3. Bagaimana Anda pilih-pilih ketika melihat angka / tabel.
4. Bagaimana Anda mengatasi data yang tidak tersedia.
5. Apakah Anda mencoba dan menjalankan kembali analisis yang digunakan.
6. Berapa jumlah makalah maksimum yang akan Anda tinjau dalam setahun?

Ada pertanyaan yang terlewat? Jangan ragu untuk mengedit atau menambahkan komentar.

Sunting

Saya sampai pada pertanyaan ini sebagai ahli statistik yang meninjau makalah biologi, tetapi saya tertarik pada tinjauan statistik dari disiplin non-matematika.

Saya tidak yakin apakah ini harus menjadi CW. Di satu sisi itu agak terbuka, tetapi di sisi lain aku bisa melihat diriku menerima jawaban. Juga, jawaban mungkin akan cukup panjang.

Saya tidak yakin tentang bidang ilmu mana yang Anda maksudkan (saya yakin jawabannya akan sangat berbeda jika berurusan dengan biologi vs fisika misalnya ...)

Bagaimanapun, sebagai seorang ahli biologi, saya akan menjawab dari sudut pandang "biologis":

Berapa banyak upaya yang harus kita lakukan untuk memahami bidang aplikasi?

Setidaknya saya cenderung membaca makalah sebelumnya dari penulis yang sama dan mencari beberapa ulasan tentang masalah ini jika saya tidak terlalu akrab dengannya. Ini terutama benar ketika berhadapan dengan teknik baru yang saya tidak tahu, karena saya perlu memahami jika mereka melakukan semua kontrol yang tepat, dll.

Berapa banyak waktu yang harus saya habiskan untuk laporan?

Sebanyak yang diperlukan (OK, jawaban bodoh, saya tahu!: P) Secara umum saya tidak ingin seseorang meninjau makalah saya untuk melakukan pekerjaan perkiraan hanya karena dia memiliki hal-hal lain yang harus dilakukan, jadi saya mencoba untuk tidak melakukannya sendiri .

Bagaimana Anda pilih-pilih ketika melihat angka / tabel.

Cukup pemilih. Angka adalah hal pertama yang Anda lihat saat menelusuri kertas. Mereka harus konsisten (misalnya judul yang tepat pada sumbu, legenda yang benar, dll.). Kadang-kadang saya menyarankan untuk menggunakan plot yang berbeda untuk menampilkan data ketika saya pikir yang digunakan bukanlah yang terbaik. Ini banyak terjadi dalam biologi, bidang yang didominasi oleh jenis grafik "barplot +/- SEM". Saya juga cukup pemilih pada bagian "bahan dan metode": analisis statistik yang sempurna pada model biologis yang salah secara inheren sama sekali tidak berguna.

Bagaimana Anda mengatasi data yang tidak tersedia.

Anda hanya melakukan dan mempercayai Penulis, saya kira. Dalam banyak kasus dalam biologi tidak banyak yang bisa Anda lakukan, terutama ketika berhadapan dengan hal-hal seperti pencitraan atau perilaku hewan dan sejenisnya. Kecuali jika Anda ingin orang-orang menerbitkan berton-ton gambar, video, dll (yang kemungkinan besar tidak akan Anda lalui), tetapi itu mungkin sangat tidak taktis. Jika menurut Anda data benar-benar diperlukan, minta penulis untuk memberikannya sebagai data / angka tambahan.

Apakah Anda mencoba dan menjalankan kembali analisis yang digunakan.

Hanya jika saya memiliki keraguan serius pada kesimpulan yang ditarik oleh penulis. Dalam biologi sering ada perbedaan antara apa yang "signifikan secara statistik" dan apa yang "signifikan secara biologis". Saya lebih suka analisis statistik yang lebih tipis dengan penalaran biologis yang baik daripada sebaliknya. Tetapi sekali lagi, dalam hal yang sangat tidak mungkin bahwa saya akan meninjau makalah bio-statistik (ahah, itu akan menyenangkan !!!) Saya mungkin akan lebih memperhatikan statistik daripada biologi di sana.

$x$$3/(x/100)$, jika tingkat penerimaan adalah 33%, editor harus mendapatkan sembilan ulasan untuk setiap makalah yang diterbitkan. Jika Anda, sebagai penulis, menganggap serius hal ini, maka Anda harus berusaha memberikan sembilan ulasan (atau berapa pun angkanya untuk jurnal target Anda) untuk setiap makalah yang Anda terbitkan!

$r$$r/10$$r/5$ $r/10$

POV saya akan meninjau makalah dalam psikologi atau memperkirakan manfaat statistiknya. Saya akan sebagian besar komentar kedua Nico yang sangat baik.

Berapa banyak upaya yang harus kita lakukan untuk memahami bidang aplikasi?

Cukup banyak, sebenarnya. Saya tidak akan memercayai diri sendiri untuk mengomentari lebih dari masalah statistik paling mendasar tanpa memahami area tersebut. Untungnya, ini sering tidak terlalu sulit di banyak cabang psikologi.

Berapa banyak waktu yang harus saya habiskan untuk laporan?

Saya akan mengambil risiko dan menyatakan waktu tertentu: Saya akan menghabiskan apa saja antara dua dan delapan jam pada ulasan, kadang-kadang lebih. Jika saya menemukan bahwa saya menghabiskan lebih dari satu hari di atas kertas, mungkin itu berarti saya benar-benar tidak memenuhi syarat untuk memahaminya, jadi saya akan merekomendasikan jurnal menemukan orang lain (dan mencoba menyarankan beberapa orang).

Bagaimana Anda pilih-pilih ketika melihat angka / tabel.

Memang sangat pemilih. Angka-angka itu akan menjadi apa yang orang ingat dari sebuah makalah dan yang berakhir dengan presentasi kuliah tanpa banyak konteks, jadi ini benar-benar perlu dilakukan dengan baik.

Bagaimana Anda mengatasi data yang tidak tersedia.

Dalam psikologi, data biasanya tidak dibagi - mengukur 50 orang oleh MRI sangat mahal, dan penulis akan ingin menggunakan data ini untuk makalah lebih lanjut, jadi saya agak memahami keengganan mereka untuk hanya memberikan data. Jadi siapa pun yang membagikan data mereka mendapat bonus besar di buku saya, tetapi tidak berbagi itu bisa dimengerti.

Dalam peramalan, banyak dataset tersedia untuk umum. Dalam hal ini saya biasanya menyarankan agar penulis membagikan kode mereka (dan melakukannya sendiri).

Apakah Anda mencoba dan menjalankan kembali analisis yang digunakan.

Tanpa data, hanya ada begitu banyak yang bisa dipelajari dari ini. Saya akan bermain-main dengan data simulasi jika ada sesuatu yang sangat mengejutkan tentang hasil kertas; Kalau tidak, orang sering dapat mengatakan yang tepat dari metode yang tidak pantas tanpa data (begitu seseorang memahami daerah tersebut, lihat di atas).

Berapa jumlah makalah maksimum yang akan Anda tinjau dalam setahun?

Ada sangat sedikit untuk ditambahkan ke poin whuber di atas - dengan asumsi bahwa setiap makalah dengan rata-rata n penulis bersama saya (co-) kirimkan mendapat 3 ulasan, orang harus benar-benar bertujuan meninjau setidaknya 3 / ( n + 1 ) makalah untuk setiap pengajuan sendiri (Menghitung pengajuan alih-alih memiliki dokumen yang dapat ditolak dan dikirim kembali). Dan tentu saja, jumlah pengajuan serta jumlah penulis bersama sangat bervariasi dengan disiplin.