Bagaimana kita mendefinisikan 'penelitian yang dapat direproduksi'?

Ini muncul dalam beberapa pertanyaan sekarang, dan saya bertanya-tanya tentang sesuatu. Sudahkah bidang secara keseluruhan bergerak ke arah "reproduksibilitas" yang berfokus pada ketersediaan data asli, dan kode yang dimaksud?

Saya selalu diajari bahwa inti dari kemampuan reproduksi tidak harus, seperti yang saya sebutkan, kemampuan untuk mengklik Jalankan dan mendapatkan hasil yang sama. Pendekatan data-dan-kode tampaknya mengasumsikan bahwa data itu benar - bahwa tidak ada cacat dalam pengumpulan data itu sendiri (sering terbukti salah dalam kasus penipuan ilmiah). Ini juga berfokus pada satu sampel dari populasi target, daripada replikabilitas dari temuan pada beberapa sampel independen.

Mengapa penekanan pada saat itu untuk dapat menjalankan kembali analisis, daripada menduplikasi studi dari bawah ke atas?

Artikel yang disebutkan dalam komentar di bawah tersedia di sini .

"Penelitian yang dapat direproduksi" sebagai analisis yang dapat direproduksi

Penelitian yang dapat direproduksi adalah istilah yang digunakan dalam beberapa domain penelitian untuk merujuk secara khusus untuk melakukan analisis sedemikian rupa

• kode mengubah data mentah dan meta-data menjadi data yang diproses,
• kode menjalankan analisis pada data, dan
• kode menggabungkan analisis ke dalam laporan.

Ketika data dan kode tersebut dibagikan, ini memungkinkan peneliti lain untuk:

• melakukan analisis yang tidak dilaporkan oleh para peneliti asli
• periksa kebenaran analisis yang dilakukan oleh para peneliti asli

Penggunaan ini dapat dilihat dalam diskusi tentang teknologi seperti Sweave . Misalnya, Friedrich Leisch menulis dalam konteks Sweave bahwa "laporan dapat diperbarui secara otomatis jika data atau analisis berubah, yang memungkinkan untuk penelitian yang benar-benar dapat direproduksi." Hal ini juga dapat dilihat dalam CRAN Task View pada Reproducible Research yang menyatakan bahwa "tujuan dari penelitian yang dapat direproduksi adalah untuk mengikat instruksi khusus untuk analisis data dan data eksperimental sehingga beasiswa dapat diciptakan kembali, dipahami dengan lebih baik dan diverifikasi."

Penggunaan istilah "reproduksibilitas" yang lebih luas

Reproduksibilitas adalah tujuan dasar sains. Itu bukan hal baru. Laporan penelitian mencakup bagian metode dan hasil yang harus menguraikan bagaimana data dihasilkan, diproses, dan dianalisis. Aturan umum adalah bahwa rincian yang diberikan harus cukup untuk memungkinkan peneliti yang kompeten untuk mengambil informasi yang diberikan dan mereplikasi penelitian.

Reproducibilitas juga terkait erat dengan konsep replikabilitas dan generalisasi.

Dengan demikian, istilah "penelitian yang dapat direproduksi", diambil secara harfiah, sebagaimana diterapkan pada teknologi seperti Sweave, adalah keliru, mengingat bahwa itu menunjukkan relevansi yang lebih luas daripada yang dicakupnya. Juga, ketika menyajikan teknologi seperti Sweave kepada para peneliti yang belum menggunakan teknologi semacam itu, peneliti semacam itu sering terkejut ketika saya menyebut proses itu "penelitian yang dapat direproduksi".

Istilah yang lebih baik daripada "penelitian yang dapat direproduksi"

Mengingat bahwa "penelitian yang dapat direproduksi" seperti yang digunakan dalam konteks seperti-Sweave hanya berkaitan dengan satu aspek penelitian yang dapat direproduksi, mungkin istilah alternatif harus diadopsi. Alternatif yang mungkin termasuk:

• Analisis yang dapat diproduksi kembali:
  • John D Cook telah menggunakan istilah ini
  • Jennifer Blackford menggunakan istilah "analisis yang andal dan dapat direproduksi"
• Analisis data yang dapat direproduksi
  • Christophe Pouzat menggunakan istilah ini
• Analisis statistik yang dapat direproduksi
  • Situs Biostats di Vanderbilt menggunakan istilah "analisis statistik yang dapat direproduksi dan kegiatan pelaporan"
• Pelaporan yang dapat diproduksi kembali

Semua istilah di atas adalah cerminan yang lebih akurat dari apa yang melibatkan analisis Sweave. Analisis yang dapat direproduksi pendek dan manis. Menambahkan "data" atau "statistik" semakin memperjelas hal-hal, tetapi juga membuat istilah tersebut lebih panjang dan lebih sempit. Lebih jauh, "statistik" memiliki arti sempit dan luas, dan tentu saja dalam arti sempit, banyak dari pemrosesan data tidak bersifat statistik. Dengan demikian, luasnya tersirat oleh istilah "analisis direproduksi" memiliki kelebihannya .

Ini bukan hanya tentang reproduksibilitas

Masalah tambahan lainnya dengan istilah "penelitian yang dapat direproduksi" adalah tujuan dari teknologi seperti Sweave bukan hanya "reproduktifitas". Ada beberapa tujuan yang saling terkait:

• Reproduksibilitas
  • Dapatkah analisis dengan mudah dijalankan kembali untuk mengubah data mentah menjadi laporan akhir dengan hasil yang sama?
• Ketepatan
  • Apakah analisis data konsisten dengan niat peneliti?
  • Apakah niat peneliti itu benar?
• Keterbukaan
  • Transparansi, akuntabilitas
    • Dapatkah orang lain memeriksa dan memverifikasi keakuratan analisis yang dilakukan?
  • Extensibility, modfifiability
    • Dapatkah orang lain memodifikasi, memperluas, menggunakan kembali, dan menggabungkan data, analisis, atau keduanya untuk membuat karya penelitian baru?

Ada argumen bahwa analisis yang dapat direproduksi harus mempromosikan analisis yang benar, karena ada catatan analisis tertulis yang dapat diperiksa. Lebih jauh lagi jika data dan kode dibagikan, itu menciptakan akuntabilitas yang memotivasi peneliti untuk memeriksa analisis mereka, dan memungkinkan peneliti lain untuk mencatat koreksi.

Analisis yang dapat direproduksi juga cocok dengan konsep-konsep seputar penelitian terbuka. Tentu saja, seorang peneliti dapat menggunakan teknologi seperti Sweave hanya untuk diri mereka sendiri. Prinsip penelitian terbuka mendorong berbagi data dan kode analisis untuk memungkinkan penggunaan kembali dan akuntabilitas yang lebih besar.

Ini sebenarnya bukan kritik terhadap penggunaan kata "reproducible". Sebaliknya, itu hanya menyoroti bahwa menggunakan teknologi seperti Sweave diperlukan tetapi tidak cukup untuk mencapai tujuan penelitian ilmiah terbuka.

Memiliki akses ke data dan kode untuk analisis dalam bentuk yang mudah dieksekusi adalah sine qua non dari penelitian yang dapat direproduksi. Setelah Anda memverifikasi bahwa analisis tersebut berfungsi, Anda dapat mengganti kode / data Anda sendiri di mana Anda skeptis dengan pembuat aslinya. Saya akan mengatakan bahwa mayoritas makalah yang mengandung statistik yang saya baca memiliki setidaknya satu bagian dari metodologi yang dibiarkan kabur. Upaya saya untuk mereproduksi analisis ini sering tidak berhasil (dan selalu memakan waktu), tetapi sangat sulit untuk mengatakan apakah ini karena penipuan, kesalahan manusia, atau (lebih mungkin) saya menyelesaikan ambiguitas ini secara berbeda dari penulis. Jadi, memiliki data + kode untuk sebuah makalah tidak menjamin bahwa kesimpulannya benar, tetapi membuatnya lebih mudah untuk mengkritik atau memperluasnya.

Juga, "penelitian yang dapat direproduksi" adalah masalah derajat. Jadi gerakan penelitian yang dapat direproduksi dapat dilihat sebagai penelitian yang mendorong yang "lebih dapat direproduksi" daripada norma, daripada menuntut penelitian yang memenuhi batas minimum. Saya kira "rilis data dan kode" sedang populer sekarang karena ini adalah langkah yang relatif mudah dan tidak mengancam.

Mampu menjalankan kembali semuanya adalah titik awal untuk penelitian yang dapat direproduksi. Itu memungkinkan untuk menunjukkan bahwa Anda benar-benar menggunakan prosedur yang sama. Setelah itu - dan hanya setelah itu - Anda dapat melanjutkan penelitian rekan Anda. Dengan kata lain, reproduktifitas yang ketat tidak dianggap sebagai waktu di mana penelitian bergerak maju, tetapi sebagai tengara, konsensus , sesuatu yang disetujui orang. Bukankah ini mendasar untuk melangkah lebih jauh?

Juga, menurut diskusi Donoho (baca bagian 2 "skandal"), tujuan penelitian yang dapat direproduksi juga untuk menguji kekuatan kode yang diberikan. Pertama dengan bermain dengan kode, membuat modifikasi sligth yang tidak dilakukan di kertas (karena kita tidak ingin kertas dengan 30 Angka ...). Saya pikir konsep penelitian yang dapat direproduksi dalam literatur berisi gagasan memiliki tengara yang kuat dan kuat. Itu hampir berisi gagasan untuk melangkah lebih jauh.