Bagaimana cara saya memberikan referensi kepada wasit?

Diperbarui di bawah

Kita semua tahu betapa pentingnya peer-review. Ini adalah bentuk utama dari kontrol kualitas dan umpan balik pada penelitian. Namun, bagi peneliti tahap awal (seperti saya), kadang-kadang bisa menjadi sistem / proses yang membingungkan.

Oleh karena itu, ada beberapa risalah tentang proses wasit ilmiah yang memberikan panduan. Dua (sangat berbeda) contoh dari ilmu komputer - artikel 1994 ini oleh Parberry dan yang lebih baru oleh Cormode - menawarkan saran yang bagus (meskipun yang terakhir mungkin naungan nakal).

Di sini, saya ingin meminta saran yang lebih luas dari anggota komunitas yang lebih berpengalaman tentang proses peninjauan, dengan perhatian khusus pada kekhasan ilmu komputer teoretis.

1. Apa kriteria utama untuk menentukan signifikansi hasil kertas? Bagaimana saya menilai apakah sebuah makalah harus diterima di konferensi / jurnal? Apakah penting untuk memverifikasi kebenaran?
2. Apa elemen utama dari laporan wasit, dan bagian mana yang paling penting? Apakah selalu perlu untuk memberikan rekomendasi penerimaan (tidak)? Apa yang ada dalam laporan dan apa yang hanya untuk editor?
3. Bagaimana penilaian untuk konferensi berbeda dari yang ada di jurnal? Bagaimana laporan untuk konferensi berbeda dari yang ada di jurnal? (Bagaimana saya menilai "kepercayaan diri" saya pada rekomendasi saya?) Apakah versi jurnal harus berbeda secara signifikan dari makalah konferensi?
4. Bagaimana jika saya tidak mengerti makalahnya? ...bukti? (Apakah ini salahku atau mereka?)
5. Bagaimana dengan kesalahan tipografis / tata bahasa? Bagaimana jika ada banyak dari mereka?
6. Berapa banyak waktu yang harus saya habiskan untuk laporan?
7. Berapa banyak laporan setahun yang saya harapkan untuk ditulis? Kapan bisa diterima untuk menolak permintaan untuk menjadi wasit?

Tentu saja, setiap pertanyaan dan jawaban relevan lainnya tentang topik ini dianjurkan, karena ini adalah CW.

Pertanyaan ini terinspirasi oleh (dicuri dari) pos serupa di MathOverflow .

Pembaruan 15/02/2011:

Saya masih sangat tertarik untuk mendapatkan lebih banyak masukan tentang pertanyaan ini terutama berkaitan dengan meninjau makalah konferensi dan keanggotaan komite program. (Kedua peran itu sendiri adalah binatang buas yang berbeda, dan keduanya sangat berbeda dengan menjadi wasit untuk artikel jurnal, IMO.) Memang, keanggotaan komite program lebih jarang daripada wasit atau peninjauan (dan itu belum menjadi hak istimewa saya), tetapi merupakan tanggung jawab yang harus diambil oleh setiap peneliti dalam ilmu komputer teoretis pada akhirnya.

• Waktu. Berapa banyak waktu yang saya harapkan untuk dihabiskan sebagai anggota komite atau peninjau konferensi? Mengingat probabilitas bahwa saya bisa mendapatkan sepuluh atau mungkin lebih banyak untuk ditangani dalam waktu beberapa minggu, bagaimana saya menghindari kehabisan waktu? Apa hal terpenting yang harus Anda habiskan?

• Kepercayaan. Bagaimana jika kertas itu terlalu jauh dari bidang keahlian saya? Faktor-faktor apa yang harus dimasukkan dalam pencalonan / meminta orang lain untuk meninjau kiriman? Jika tidak terlalu jauh dari bidang keahlian saya dan saya memilih untuk memeriksanya, kapan bisa memberikan peringkat kepercayaan 1?

• Kriteria. Ada perbedaan kritis antara jurnal dan konferensi. Beberapa makalah yang sangat penting tidak dipublikasikan dalam jurnal. Beberapa makalah yang sangat penting sebelumnya tidak muncul di konferensi. Apa perbedaan paling signifikan dalam kriteria untuk menilai makalah dalam pengaturan ini?

• Rekomendasi. Secara inheren, ada lebih sedikit rekomendasi yang dapat ditawarkan kepada penulis makalah konferensi, terutama karena keterbatasan ruang dan waktu. Juga, biasanya hanya ada satu putaran review. Pertimbangan lain adalah bahwa laporan saya dipublikasikan untuk seluruh komite yang kuat. Apa ruang lingkup saran / arahan yang dapat saya tawarkan?

Seperti sebelumnya, jika Anda merasa saya melewatkan pertanyaan tertentu, beri tahu saya, atau edit secara langsung. Bagaimanapun, ini CW.

Pikiran-pikiran baru ini sebagian dimotivasi dengan membaca makalah yang disebutkan Suresh di blog-nya .

1. Sepengetahuan Anda, apakah makalah ini memberikan kontribusi yang signifikan, disajikan dengan baik, dan benar bagi keadaan seni? Jika kertas gagal salah satu dari tiga kriteria, itu adil untuk menolaknya karena alasan itu saja, terlepas dari dua lainnya.

2. Inilah yang menurut saya seharusnya berisi laporan. Segala sesuatu harus dapat dilihat oleh penulis, kecuali kemungkinan untuk tuduhan pelanggaran serius.

   Sebuah. Ringkasan singkat makalah ini, untuk membantu editor menilai kualitas hasil, dan membantu meyakinkan penulis dan editor bahwa Anda benar-benar membaca dan memahami makalah tersebut. Tempatkan hasilnya dalam konteks yang lebih besar. Sertakan riwayat versi sebelumnya, bahkan jika penulis memasukkannya dalam kiriman. Bersikaplah penuh hormat, tetapi jujur ​​secara brutal.

   b. Diskusi tentang kekuatan dan kelemahan makalah, dalam hal kebenaran, kebaruan, kejelasan, pentingnya, generalisasi, potensi dampak, keanggunan, kedalaman teknis, ketahanan, dll. Jika Anda mencurigai perilaku tidak etis (plagiarisme, penyerahan paralel, data yang dimasak) , jelaskan kecurigaan Anda. Bersikaplah hormat, tetapi jujur ​​secara brutal.

   c. Rekomendasi kepada editor untuk tindakan lebih lanjut - menerima, menerima dengan revisi kecil, meminta peninjauan putaran kedua, atau menolak langsung. Ingatlah bahwa Anda sedang membuat rekomendasi, bukan keputusan; jika Anda tidak dapat mengambil keputusan, katakan saja. Bersikaplah hormat, tetapi jujur ​​secara brutal.

   d. Umpan balik yang lebih rinci kepada penulis - justifikasi yang lebih rinci untuk rekomendasi Anda, permintaan klarifikasi dalam versi final, referensi yang hilang, bug dalam pembuktian, penyederhanaan, generalisasi, kesalahan ketik, dll. Bersikap hormat, tetapi jujur ​​secara brutal.

3. Laporan konferensi harus lebih pendek; komite program memiliki ratusan makalah untuk dipertimbangkan sekaligus. Apakah harus ada perbedaan antara makalah konferensi dan jurnal tergantung pada jurnal (dan secara tidak langsung, hingga komunitas). Kebanyakan jurnal ilmu komputer teoretis tidak menuntut perbedaan yang signifikan; cukup umum untuk konferensi dan jurnal versi makalah teori yang pada dasarnya identik. Jika ragu, tanyakan pada editor!

4. Jika Anda masih tidak memahami makalah setelah melakukan upaya dengan itikad baik, itu kesalahan penulis, atau mungkin editor, tetapi tentu saja bukan milik Anda. Tanggung jawab utama penulis adalah untuk mengkomunikasikan hasil mereka secara efektif kepada audiens mereka, dan editor yang baik akan mengirimi Anda makalah untuk menjadi wasit hanya jika mereka berpikir Anda adalah perwakilan yang baik dari audiens yang dituju makalah tersebut. Tetapi Anda harus melakukan upaya dengan itikad baik; jangan berharap untuk segera memahami semuanya (apapun?) segera pada bacaan pertama Anda.

5. Jika ada banyak kesalahan, jangan baca koran; rekomendasikan saja dengan alasan bahwa makalah tersebut tidak ditulis secara profesional. Jika tidak, jika Anda benar-benar ingin teliti, sertakan daftar kesalahan tata bahasa, ejaan, dan tanda baca yang representatif , tetapi jangan sampai Anda menemukan setiap bug terakhir. Bersikaplah penuh hormat, tetapi jujur ​​secara brutal.

6. Berharap untuk menghabiskan sekitar satu jam per halaman, sebagian besar untuk menginternalisasi hasil dan teknik kertas. Terkejut saat itu sebenarnya tidak butuh waktu lama. (Jika itu memakan waktu lebih sedikit dari itu, baik kertasnya sangat elegan dan ditulis dengan baik, Anda tahu daerahnya dengan sangat baik, atau kertas itu secara teknis dangkal. Jangan bingung tiga kemungkinan ini.)

7. Anda harus menulis laporan wasit setidaknya sebanyak yang ditulis orang lain untuk Anda. Jika ini membutuhkan lebih banyak waktu daripada menulis makalah Anda sendiri, Anda tidak menghabiskan cukup waktu untuk makalah Anda sendiri.

Banyak hal bergantung pada konferensi / jurnal, karena setiap komunitas telah mengembangkan gayanya sendiri, jadi mengetahui apa yang diharapkan dari konferensi / jurnal tentu akan sedikit membantu.

1. Apa kriteria utama untuk menentukan signifikansi hasil kertas? Bagaimana saya menilai apakah sebuah makalah harus diterima di konferensi / jurnal? Apakah penting untuk memverifikasi kebenaran?

Kriteria: Kebaruan / orisinalitas, dampak yang diharapkan, kebenaran / validitas, kepanjangan (berapa banyak masalah yang dipelajari? + Teorema? + Implementasi? + Hasil eksperimen?), Kualitas presentasi. Kriteria penerimaan jurnal jauh lebih tinggi daripada konferensi. Untuk konferensi Anda memberikan skor berdasarkan kriteria sebelumnya. Memverifikasi kebenaran sebanyak mungkin adalah sangat penting, terutama untuk artikel jurnal.

2. Apa elemen utama dari laporan wasit, dan bagian mana yang paling penting? Apakah selalu perlu untuk memberikan rekomendasi penerimaan (tidak)? Apa yang ada dalam laporan dan apa yang hanya untuk editor?

Laporan wasit berisi setidaknya 4 elemen utama: Ringkasan makalah dan kontribusinya; poin yang mendukung penerimaan kertas; poin terhadap kertas; komentar utama, termasuk poin yang harus ditangani; komentar kecil (salah ketik dll). Anda harus selalu memberikan indikasi penerimaan atau penolakan atau tingkat revisi yang diperlukan. Komentar untuk editor dapat mencakup: penilaian singkat, mungkin tumpul dari kertas; pernyataan keraguan; rincian kemungkinan plagiarisme atau penyerahan paralel makalah; ...

3. Apa perbedaan penilaian untuk konferensi dengan konferensi? Bagaimana laporan untuk konferensi berbeda dari yang ada di jurnal? (Bagaimana saya menilai "kepercayaan diri" saya pada rekomendasi saya?) Apakah versi jurnal harus berbeda secara signifikan dari makalah konferensi?

Ulasan jurnal cenderung lebih luas dan dapat mencakup banyak hal yang harus dilakukan penulis untuk membawa makalah mereka ke keadaan yang dapat diterima, seperti "menerapkan dan mengevaluasi ide-ide ini". Keyakinan Anda harus didasarkan pada seberapa percaya diri Anda. Umumnya ini akan datang dengan pengalaman, jadi mulailah bersikap konservatif. Itu di luar bidang Anda, meskipun Anda mungkin memahami makalah, menjadi konservatif juga merupakan ide yang baik - sulit untuk menilai keaslian kertas di luar bidang Anda. Beberapa jurnal mengatakan bahwa pengiriman jurnal harus berisi sejumlah besar materi baru dibandingkan dengan versi konferensi. 30% adalah angka yang pernah saya dengar.

4. Bagaimana jika saya tidak mengerti makalahnya? ...bukti? (Apakah ini salahku atau mereka?)

Ini bisa bervariasi. Terkadang itu akan menjadi kesalahan Anda, terkadang itu akan menjadi milik mereka. Gunakan penilaian Anda. Mungkin meminta seorang rekan untuk melihat kertas itu. Jika Anda benar-benar tidak dapat memahaminya dan itu bukan karena pemformatan yang buruk, maka mungkin hubungi kursi PC dan jelaskan bahwa ini masalahnya. Bagaimanapun, ini harus tercermin dalam skor kepercayaan diri Anda. Jika makalah tidak dapat dipahami karena tulisan atau bahasa yang buruk atau karena telah diserahkan secara prematur, maka ini harus ditulis dalam laporan Anda.

5. Bagaimana dengan kesalahan tipografi / tata bahasa? Bagaimana jika ada banyak dari mereka?

Ketika saya masih muda, saya akan melaporkan setiap kesalahan ketik dan kesalahan tata bahasa. Sekarang saya tidak punya waktu. Melaporkan beberapa selalu membantu: pilih yang paling serius. Juga merekomendasikan agar kertas tersebut menjadi proofread (oleh penutur asli). Untuk makalah jurnal lebih teliti. Jika ada terlalu banyak kesalahan, maka seharusnya tidak harus dikirim ke jurnal, yang merupakan alasan penolakan (IMHO).

6. Berapa banyak waktu yang harus saya habiskan untuk laporan?

Maksimal satu hari untuk makalah konferensi, termasuk waktu membaca. Untuk makalah jurnal, terutama yang panjang, membaca koran dengan cermat mungkin memakan waktu seminggu penuh.

7. Berapa banyak laporan setahun yang saya harapkan untuk ditulis? Kapan bisa diterima untuk menolak permintaan untuk menjadi wasit?

Jumlah yang diharapkan bisa bervariasi antara 5 dan 30. Sebagai peneliti junior, Anda akan diberikan beberapa untuk latihan. Saat Anda naik kelas, Anda akan melakukan lebih banyak peninjauan saat menjadi anggota PC. Kemudian saat Anda melangkah lebih jauh, Anda akan memiliki pasukan mahasiswa PhD untuk melakukan peninjauan Anda. Lebih dari 30 dalam setahun cukup berat.

Seperti yang saya katakan di atas, saya akan mengatakan itu tepat untuk menolak permintaan wasit ketika salah satu (1) Anda tidak merasa bahwa Anda memiliki keahlian yang cukup untuk melakukan tinjauan yang baik, atau (2) Anda memiliki terlalu banyak peninjauan (atau lainnya) komitmen saat ini. Juga dianggap sebagai bentuk yang baik untuk menyarankan sejumlah pengulas alternatif yang mungkin, jika Anda menolak.

Di sini saya berikan 2 sen, dan saya tambahkan poin ketujuh:

1. Berapa banyak laporan yang harus saya lakukan setiap tahun?

Jawabanku

1. Tentu saja kriteria tidak sama untuk konferensi dan jurnal. Untuk kedua kebenaran mungkin adalah kriteria yang paling penting. Kemudian, kriteria kedua saya adalah kebaruan dari hasil untuk konferensi, sementara itu adalah dampak dari hasil untuk jurnal. Untuk sebuah konferensi, penting juga untuk menilai apakah makalah ini menarik bagi audiens, tetapi ini adalah panggilan penilaian yang dapat dilakukan oleh kursi PC daripada pengulas.

2. Pertama-tama, kecuali jika Anda mencurigai adanya penipuan atau praktik buruk dan tidak yakin (maka Anda harus berbicara hanya dengan editor), pendapat saya adalah bahwa Anda harus menceritakan semuanya kepada penulis. Saya pikir penting untuk jujur ​​dengan penulis dan dengan demikian selalu memberikan rekomendasi. Dalam sebuah laporan, Anda harus menggambarkan topik, hasil (sehingga penulis dapat melihat bahwa Anda memahami makalah), maka Anda harus menilai manfaat hasilnya (kebaruan wrt keadaan seni, kedalaman teknis, kebenaran, kejelasan) dan tunjukkan setiap masalah. Akhirnya, Anda harus memberikan rekomendasi Anda, mungkin dengan saran kepada penulis (seperti "Saya pikir hasil ini bagus, tetapi lebih cocok untuk konferensi A daripada yang ini"). Dalam beberapa kasus, Anda akan diberikan kertas yang tidak layak untuk diserahkan,

3. Saya pikir, kecuali dalam kasus undangan jurnal untuk masalah khusus terkait dengan makalah konferensi, harus ada perbedaan yang signifikan.

4. dua kasus: itu tidak dapat dimengerti (kesalahan mereka) sehingga Anda dapat menolak kertas karena alasan itu atau Anda bukan pengulas yang baik untuk kertas itu. Ketika itu terjadi, Anda tahu kasus apa itu, jika tidak Anda berada di kasus kedua!

5. Saya bukan penutur asli bahasa Inggris, jadi ada bias dalam jawaban saya. Tapi saya pikir itu bukan alasan untuk menolak makalah (kecuali dalam beberapa kasus ekstrim).

6. Waktu yang dibutuhkan. Ini dapat berkisar dari 1 jam (makalah yang buruk dalam lokakarya) hingga beberapa hari (makalah yang sangat terlibat dalam jurnal top).

7. Secara pribadi, saya berharap untuk melakukan 3 laporan per kertas yang saya kirimkan (dan ya, itu banyak, sebenarnya meninjau mungkin salah satu tugas saya yang paling memakan waktu - sebelum mengajar mungkin).