Sebagai peninjau, dapatkah saya membenarkan meminta data dan kode tersedia meskipun jurnal tidak?

23

Karena sains harus dapat direproduksi, menurut definisi, ada peningkatan pengakuan bahwa data dan kode merupakan komponen penting dari reproduktifitas, seperti yang dibahas oleh Yale Roundtable untuk data dan pembagian kode .

Dalam meninjau naskah untuk jurnal yang tidak memerlukan berbagi data dan kode, dapatkah saya meminta agar data dan kode tersebut tersedia

kepada saya pada saat ditinjau
secara publik pada saat publikasi (jurnal mendukung suplemen)

juga, bagaimana saya bisa mengucapkan permintaan seperti itu?

pembaruan : walaupun saya tertarik pada kasus umum, kasus khusus ini terdiri dari meta-analisis dengan semua data yang diterbitkan sebelumnya, dan kode ini adalah model linear sederhana dalam SAS

catatan samping kemampuan untuk membuat kesimpulan studi-silang (seperti tujuan dari meta-analisis) akan sangat ditingkatkan jika lebih banyak studi memberikan data mentah

pembaruan 2 :

Saya meminta data dan kode dari editor untuk keperluan tinjauan, editor menganggap permintaan itu masuk akal, dan saya telah menerima materi yang diminta (cukup tetapi dengan nama variabel samar, tidak ada metadata, dan beberapa komentar sebaris) dalam sehari.

— David LeBauer
sumber

3

Secara pribadi, saya akan baik-baik saja dengan kode dalam keadaan apa pun. Data adalah masalah lain. Kecuali itu sudah tersedia untuk umum, saya kemungkinan tidak akan memiliki izin untuk membaginya dengan siapa pun. Saya menduga ini membuat permintaan data tidak masuk akal dalam banyak keadaan.

— Andy W

4

Ini terdengar seperti sesuatu yang harus Anda diskusikan dengan associate editor atau editor Anda. Jika mereka melakukan pekerjaan mereka, mereka harus dapat memberikan Anda panduan dan mungkin akan berfungsi sebagai titik kontak bagi penulis untuk setiap permintaan tersebut.

— kardinal

1

Tampak bagi saya bahwa banyak contoh dan diskusi berikutnya didasarkan pada situasi anekdotal yang dapat sangat bervariasi sesuai dengan disiplin dan data apa yang kita bicarakan. Tentu beberapa situasi tampaknya sangat masuk akal untuk menyebarluaskan data, tetapi itu tidak selalu menjadi ciri semua situasi. Pertanyaan ini berubah menjadi kata-kata kasar dengan sangat cepat!

— Andy W

1

@Andy ada saran tentang cara menjauhi kata-kata kasar? misalnya perbedaan yang harus dibuat dalam OP atau diedit ke jawaban (itu CW setelah semua).

— Abe

1

Saya pikir formulir ini memiliki bias seleksi :-). Sebagian besar dari kita ada di sini karena sebagian besar dari kita mendukung ide OPs dalam beberapa cara.

— suncoolsu

7

Sejauh mendapatkan data sebagai pengulas, Anda berhak mendapatkannya jika Anda membutuhkannya untuk melengkapi ulasan Anda dengan benar. Lebih banyak pengulas harus meminta data dan menilainya. Banyak jurnal memiliki kebijakan yang mereka mungkin memerlukan data dan kode analisis untuk keperluan ulasan.

Ketersediaan pada saat publikasi tidak jelas bagi saya. Tampaknya Anda mengatakan bahwa Anda ingin memaksakan masalah bahwa data dibuat tersedia untuk umum sebagai syarat publikasi. Itu ide yang buruk jika itu bukan kebijakan jurnal. Anda menjadikan publikasi sebagai target bergerak yang tidak adil. Mereka mengajukan harapan bahwa itu bukan persyaratan dan Anda, atau editor, harus mengubah permainan.

Tanpa diketahui banyak peneliti yang didanai publik, mereka diharuskan untuk membuat data mereka tersedia untuk umum. Sebagai contoh, sebagian besar hibah NIH memiliki klausa di mana peneliti harus menyampaikan data mereka. Sebagian besar lembaga pemberi pemerintah memiliki klausa berbagi data yang memaksa peneliti untuk membagikan apa yang mereka temukan (mungkin kekuatan agak kuat mengingat bahwa sangat sulit untuk kehilangan hibah atas itu ... mungkin kehilangan pembaruan). Publik membayar untuk data, oleh karena itu publik berhak untuk itu --- dalam kasus penelitian manusia, berhak untuk dianonimkan.

Beberapa data yang paling mahal dan sensitif untuk dikumpulkan, data FMRI manusia, juga beberapa yang paling umum tersedia untuk umum. Bukan hanya PLoS, tetapi jurnal utama bidang ini membutuhkan penyerahan data dan memelihara bank data yang tersedia untuk umum. Saya pikir ini mengatakan banyak kepada orang yang keberatan karena alasan biaya (sangat mahal), dan privasi (itu adalah data manusia dari penelitian kecil dan kadang-kadang populasi klinis unik yang bisa sangat sensitif). Itulah alasan yang membuat data itu lebih berharga bagi publik. Para peneliti yang menahan data tersebut melakukan tindakan merugikan terhadap orang-orang yang membelinya (semua orang), dan membutuhkan pelajaran tentang apa tanggung jawab mereka di luar kompetisi laboratorium dan publikasi kecil mereka.

Jika penelitian ini didanai secara pribadi, benar-benar didanai secara pribadi, maka yang terbaik adalah keberuntungan.

— John
sumber

Saya setuju dengan sebagian besar dari apa yang ada dalam ini - sudah ada persyaratan untuk mengungkapkan data - biasanya untuk peneliti yang memenuhi syarat lainnya - dalam hibah yang didanai NIH dan sejenisnya. Tapi saya pikir memperluas ini ke persyaratan ad hoc untuk publikasi jauh melampaui peran resensi.

— Fomite

1

(+1) Pikiran, jawaban yang diartikulasikan dengan baik. Satu hal yang perlu diingat adalah bahwa situs ini memiliki pemirsa yang cukup internasional. Saya berharap lebih banyak peneliti akan mengambil pandangan kolaboratif terhadap penelitian dan data mereka bahkan jika tidak ada NIH atau organisasi lain yang memutar lengan mereka.

— kardinal

EpiGrad, kalau-kalau tidak jelas dari jawabannya, saya merasa membuat persyaratan ad hoc untuk publikasi tidak hanya melampaui batas resensi, tetapi editor juga.

— John

Kardinal, terima kasih atas pujiannya. Terima kasih atas pengingatnya juga. Saya mencoba untuk mengingat bahwa situs ini bersifat internasional. Sebesar NIH, itu bukan di negara saya. ;)

— John

@ John Ya - Saya hanya lupa untuk memberi +1 saat setuju dengan Anda :)

— Fomite

6

Mengatasi dua situasi secara terpisah:

Sebagai pengulas: Ya, saya pikir Anda akan memiliki alasan untuk meminta melihat data atau kode. Tetapi jika saya jadi Anda, saya akan bersiap untuk melihat hal-hal seperti kode yang dikupas, atau subsampel dari data. Orang-orang menerapkan penelitian di masa depan yang tidak dilaporkan dalam makalah ini dalam kode mereka sepanjang waktu, dan Anda tidak berhak atas kode tersebut. Karena saya melakukan sebagian besar penelitian biomedis, saya juga harus siap untuk berurusan dengan beberapa perjanjian penggunaan data yang cukup ketat.

Dalam jurnal itu sendiri: Tidak. Jika seorang peneliti ingin mereproduksi hasil saya, mereka dapat mendekati saya sendiri untuk meminta kode - itu sebabnya kami memiliki penulis yang sesuai. Untuk data, sama sekali tidak, dalam keadaan apa pun. Data saya diatur oleh IRB dan perjanjian kerahasiaan - tidak hanya akan dipublikasikan. Jika saya mauset data publik-ish, saya dapat mensimulasikan dataset dengan properti yang serupa (yaitu data jaringan "Faux-Mesa" yang tersedia di salah satu paket jaringan untuk R), tetapi sebagai peninjau, Anda tidak punya panggilan untuk memaksa . Jika ini merupakan persyaratan jurnal secara luas, maka penulis tahu data / kode mereka akan dipublikasikan ketika mengirimkannya, tetapi jika tidak maka tidak ada. Peran Anda adalah untuk mengevaluasi kualitas kertas itu sendiri (maka saya baik-baik saja dengan itu untuk keperluan ulasan), tidak menggunakan kemampuan Anda untuk berkontribusi pada penerimaan / penolakan kertas untuk mendorong apa yang pada dasarnya merupakan titik filosofis / politis di luar ruang lingkup jurnal.

Paling-paling, saya akan meletakkan "Saya akan sangat mendesak para penulis untuk membuat kode dan data mereka tersedia, di mana mungkin" di komentar Anda, tapi saya tidak akan mengatakan itu lebih kuat dari itu, dan saya tidak akan memasukkannya ke dalam daftar formal "Hal-hal yang saya pikir perlu diperbaiki sebelum ini melihat cahaya hari".

— Fomite
sumber

Perhatikan saja hasil edit Anda: Dalam hal ini, sejauh menyangkut makalah, jawaban sebenarnya adalah 'tidak' yang lebih kuat - dengan asumsi makalah tersebut memiliki kutipan. Jika poin dari permintaan adalah 'penelitian yang dapat direproduksi', dan data dapat ditemukan secara publik, maka tidak ada alasan mengapa peneliti yang ingin mengkonfirmasi temuan tidak dapat melakukan ini sendiri. Lebih jauh, jika intinya sebenarnya mengevaluasi sains, alih-alih hanya menunjukkan bahwa Anda juga dapat mengklik "Jalankan" dan mendapatkan hasil yang sama, melalui proses pencarian dan abstraksi dalam literaute sendiri adalah bagian dari memverifikasi hasil.

— Fomite

agar penelitian dapat direproduksi, versi kode dan data yang digunakan dalam analisis harus tersedia, dan kode yang tidak digunakan dalam analisis tidak akan diharapkan (atau perlu relevan).

— David LeBauer

@EpiGrad: Pada tingkat tertentu, saya tidak begitu setuju dengan no kuat ini . Keith Baggerly telah menginjili tentang masalah ini belakangan ini dan membuat beberapa pengamatan menarik. Lihat, misalnya, KA Baggerly dan KR Coombes, yang menurunkan kemosensitifitas dari garis sel: Bioinformatika forensik dan penelitian yang dapat direproduksi dalam biologi throughput tinggi , Ann. Appl. Stat. , vol 3, tidak. 4, hlm. 1309-1334. Ada juga versi arxiv .

— kardinal

Saya tahu sangat sedikit peneliti yang didanai hibah yang memiliki masalah IRB dan kerahasiaan yang benar-benar membatasi publikasi data yang dianonimkan dengan benar. Jika Anda berada dalam situasi itu, ini adalah kasus yang cukup langka.

— John

@EpiGrad Saya juga mempertanyakan no kuat . Metode yang digunakan untuk mendapatkan dari data mentah ke metrik yang diperoleh dalam meta-analisis sering membutuhkan seperangkat asumsi besar yang terkait dengan perbedaan dalam metodologi dan interpretasi yang terjadi pada tingkat studi individu. Dalam hal ini, ada lebih dari 200 studi yang diwakili, sehingga waktu yang diperlukan untuk merekonstruksi kumpulan data akan menjadi penghalang - dan pada akhirnya akan menghambat tujuan akhir dari kemajuan ilmu pengetahuan.

— David LeBauer

5

Seperti yang dikatakan John, ketersediaan data untuk peninjau harus tidak diragukan lagi; tinjauan yang cermat harus mencakup replikasi analisis dan karenanya mengharuskan akses ke data.

Berkenaan dengan ketersediaan data publik setelah publikasi, saya akan mengatakan bahwa pertempuran harus diperjuangkan dengan jurnal umumnya daripada berkaitan dengan pengajuan tertentu.

Pada catatan yang lebih umum, lembaga pendanaan dan IRB menjadi semakin sadar bahwa berbagi data merupakan komponen penelitian yang diperlukan secara ilmiah dan etis. Dengan meningkatkan ketersediaan untuk re-analisis yang dapat menghasilkan hasil baru dari laporan yang salah, berbagi data meningkatkan potensi manfaat untuk penelitian, sehingga memodifikasi tradeoff biaya / manfaat untuk keuntungan peserta penelitian. Tentu saja perlu untuk memberi tahu para peserta tentang kemungkinan bahwa data mereka akan dibagikan, dan juga perlu untuk membuat kerangka pengaman untuk mencegah peningkatan risiko identifikasi kepada para peserta, tetapi ini dapat dicapai dalam sebagian besar keadaan. Dalam penelitian saya sendiri, saya meyakinkan para peserta (dan IRB saya) bahwa (1) data akan disimpan dalam format terenkripsi yang kuat (dimutakhirkan seiring kemajuan teknologi dekripsi),

— Mike Lawrence
sumber

1

Saya tidak punya pengalaman dengan ini, tetapi bagi saya tampaknya Anda mungkin bisa bersikeras # 1 sebagai bagian dari uji tuntas Anda sendiri dalam meninjau hasil mereka. Saya tidak melihat bagaimana Anda bisa bersikeras pada # 2.

— Wayne
sumber