Apakah ada sistem penilaian standar untuk publikasi jurnal ilmiah?

Saya telah mendengar bahwa beberapa jurnal mendapat peringkat lebih tinggi daripada yang lain. Apakah ini benar? Dan jika demikian, apa kriteria untuk menilai nilai satu jurnal yang ditinjau oleh sejawat? Bagaimana cara mengetahui peringkatnya? Apakah publikasi saya akan kurang "bernilai" jika diterima dalam jurnal yang kurang bereputasi daripada, katakanlah, Tinjauan SIAM?

Faktor apa yang menentukan di mana saya akan menerbitkan makalah?

• Apakah orang yang ingin saya baca makalah ini melihatnya? Jika saya menindaklanjuti karya kelompok lain (mungkin untuk menunjukkan sudut pandang yang berbeda, kadang-kadang untuk menunjukkan peningkatan algoritmik atau untuk memperbaiki masalah dengan makalah sebelumnya), saya ingin mengirimkan makalah ke jurnal yang sama, bahkan jika ada masalah faktor dampak.

Sebagai seorang ilmuwan komputasi muda yang masih dalam tahap pengembangan karier dalam karier saya, saya akan menyampaikan bahwa ada aspek tambahan, dan mungkin bahkan lebih kritis untuk pertanyaan ini. . . .

• Akankah orang-orang yang berada dalam posisi untuk mengevaluasi saya melihat tulisan ini?Saya sering berbicara dengan rekan-rekan di bidang ilmu komputasi tentang perlunya memiliki "rumah rumput": ilmu komputasi adalah bidang yang sangat interdisipliner. Sayangnya, kita tidak benar-benar dapat dianggap sebagai ilmuwan komputasi ketika tiba saatnya untuk dipertimbangkan untuk posisi permanen. Dengan tidak adanya bekerja di departemen ilmu komputasi, Kami harus mengajukan permohonan untuk masa jabatan di departemen yang ada, yang biasanya berarti bahwa "rekan" kami akan menjadi insinyur, ilmuwan, dan ahli matematika lain — banyak di antaranya tidak benar-benar memiliki kekuatan yang kuat. latar belakang dalam ilmu komputasi. Ini berarti bahwa bahkan jika Anda ingin pergi ke arah pemupukan silang, Anda masih perlu memfokuskan beberapa publikasi Anda di jurnal masuk untuk disiplin Anda. Ini adalah tantangan yang belum tentu harus dihadapi oleh banyak rekan kita, dan ini merupakan komplikasi tambahan dalam hidup kita. Tapi itu sesuatu yang harus kita waspadai sebelum mulai bekerja!

• Berapa banyak kompetisi yang saya miliki saat ini? Semakin ramai bidang, semakin penting untuk mendapatkan hasil di awal. Meskipun bagus untuk mencoba pergi ke Nature atau Science dengan setiap kertas keluar dari grup Anda (anggap Anda tidak dalam matematika murni, atau sesuatu yang serupa), menjadi yang pertama keluar dari gerbang dalam bidang "panas" lebih penting daripada menerbitkan dalam jurnal "terbaik" dalam suatu bidang.

• Seberapa penting makalah ini? Sebuah makalah yang mewakili kumpulan karya yang menyediakan banyak data baru, tetapi tidak terlalu banyak dalam wawasan yang luar biasa, mungkin tidak pantas untuk masuk ke jurnal tingkat atas. Mungkin lebih baik untuk mencari jurnal yang memiliki reputasi baik. Namun, jika Anda benar-benar menemukan sesuatu yang besar, bidiklah tinggi, asalkan Anda tidak khawatir dengan waktu krisis yang mempengaruhi jurnal-jurnal besar. (Misalnya, butuh waktu lebih lama untuk menerbitkan dalam Physical Review Letters daripada di salah satu seri Physical Review lainnya, yang jumlahnya sebanding.)

Setelah semua ini diperhitungkan, maka saya akan mulai mengkhawatirkan masalah-masalah seperti faktor dampak , tetapi kemudian hanya sebagai ukuran kontrol kualitas yang longgar. Perbedaan 10-20% pada dasarnya tidak ada artinya, tetapi 1,0 banding 2,0, atau 2,0 versus 3,0, memang mewakili tingkat perbedaan terukur antar jurnal.

Di dunia yang ideal, Anda hanya akan mempertimbangkan satu hal ketika memilih tempat untuk mengirimkan naskah:

pembaca jurnal mana yang termasuk khalayak luas yang akan tertarik pada karya ini?

Dalam praktiknya, Anda juga mempertimbangkan faktor-faktor lain, mungkin yang paling signifikan

Berapa banyak penerbitan dalam jurnal ini akan membantu karier saya?

Siapa pun yang dapat memahami pekerjaan Anda dengan baik akan menilainya dengan signifikansinya yang sebenarnya , tetapi mereka yang terlalu jauh dapat menggunakan kualitas jurnal sebagai proxy untuk kualitas kertas Anda.

Bagaimana kualitas jurnal ditentukan? Para profesional berpengalaman memiliki pendapat mereka sendiri berdasarkan pengalaman dengan setiap jurnal dan artikel yang mereka baca. Dalam beberapa bidang, seperti matematika, pendapat pakar ini hanya dapat disintesis dengan berbicara dengan banyak ahli. Di bidang lain, seperti ilmu komputer, ini telah secara eksplisit dikodifikasi menjadi sistem peringkat berjenjang .

Metrik yang paling banyak tersedia untuk kualitas jurnal adalah apa yang disebut faktor dampak . Bahaya memiliki satu metrik tunggal yang banyak digunakan untuk apa pun adalah metrik dapat dimanipulasi atau salah diterapkan , atau mungkin tidak berguna untuk beberapa hal yang diterapkan. Misalnya, karena hanya mengukur kutipan selama dua tahun, itu tidak masuk akal untuk makalah matematika, yang biasanya mendapatkan sebagian besar kutipan mereka setelah dua tahun - sering jauh kemudian. Ini juga tampaknya tidak berkorelasi dengan pendapat ahli. Ada beberapa alternatif, misalnya Eigenfactor . Dan banyak orang sekarang mengusulkan penggunaan metrik web sosial untuk memeringkat jurnal .

Saya tidak menggunakan faktor dampak atau metrik semacam itu dalam keputusan saya sendiri, karena saya merasa bahwa pengalaman langsung saya memberi saya ukuran yang lebih akurat dari signifikansi jurnal. Latihan yang menarik adalah membaca referensi perpustakaan pribadi Anda (misalnya, dalam file bibtex) dan melihat jumlah artikel yang dikandungnya dari jurnal yang berbeda. Itu mungkin akan memberi Anda indikasi terbaik di mana Anda harus mempublikasikan.

Omong-omong, ada proposal untuk membuat peringkat jurnal matematika berbasis pakar; lihat laporan ini dan blog IMU resmi ini .

Anda juga harus menyadari bahwa baru-baru ini ada ledakan jurnal berkualitas rendah baru berdasarkan model penulis-bayar. Penerbit mereka sering meng-spam komunitas ilmuwan besar (sering kali termasuk banyak yang tidak memenuhi syarat) dalam upaya untuk mendapatkan nama-nama terhormat yang masuk akal di dewan editorial mereka dan mengumpulkan kiriman kertas. Sejauh yang saya tahu, itu adalah alat rias yang berorientasi keuntungan .

Itu benar-benar tergantung pada seberapa banyak Anda percaya pada peringkat jurnal. Metrik paling populer yang saya ketahui adalah faktor dampak. Ini artikel Wikipedia menjelaskan faktor dampak, bagaimana dihitung, dan bagaimana hal itu rentan terhadap manipulasi, serta jurnal alternatif Peringkat metrik. Hal terpenting yang perlu diperhatikan adalah bahwa faktor dampak untuk jurnal di bidang yang berbeda belum tentu sebanding, meskipun sistem peringkat faktor dampak mencoba untuk meruntuhkan "kualitas" setiap jurnal ke dalam satu metrik tunggal. (Untuk diskusi yang menarik tentang mengapa gagasan seperti itu dapat mengarah pada hasil yang menyesatkan atau mudah dimanipulasi, lihat esai New Yorker dari Malcolm Gladwell, The Order of Things , yang membahas peringkat perguruan tinggi dan peringkat mobil.)

Faktor dampaknya adalah jumlah rata-rata kutipan yang diterima per makalah yang diterbitkan dalam jurnal itu selama dua tahun sebelumnya, sehingga kriteria untuk menilai nilai satu jurnal yang ditinjau sejawat adalah berapa kali artikel terakhirnya dikutip dengan rata-rata, per dasar artikel. Metrik ini berarti bahwa jurnal seperti Sains dan Alam mendapat peringkat tinggi, seperti yang diharapkan, tetapi juga berarti bahwa Jurnal Internasional Ilmu Pengetahuan Nonlinier dan Simulasi (3.100) mendapat peringkat lebih tinggi daripada Jurnal SIAM Scientific Computing (3.016), meskipun jurnal terakhir jauh lebih mudah dikenali.

Adapun publikasi Anda menjadi kurang "bernilai," itu tergantung pada orang tersebut. Saya telah diberi tahu oleh kolega saya yang lebih senior bahwa memiliki artikel di jurnal yang lebih bergengsi bermanfaat untuk hal-hal seperti penguasaan dan keputusan perekrutan; tidak memiliki pengalaman dengan masalah seperti itu secara langsung, saya tunduk pada komentar orang-orang yang memiliki latar belakang lebih banyak dengan situasi semacam itu. Itu tergantung pada komunitas orang yang Anda coba jangkau atau kesan. Jika Anda menerbitkan sesuatu dalam jurnal matematika, jangan berharap bahwa orang di luar matematika pasti akan membacanya. (Saran yang sama berlaku untuk mata pelajaran lain.) Juga, Anda dapat memutuskan untuk menerbitkan dalam jurnal yang kurang bergengsi karena Anda ingin mendapatkan hasilnya dengan cepat daripada menunggu lama untuk ditinjau oleh jurnal yang lebih bergengsi. SAYA' telah diberitahu bahwa jurnal SIAM dapat memakan waktu satu tahun atau lebih untuk meninjau makalah dan menerbitkannya, yang didukung dengan melihat waktu antara tanggal yang diserahkan dan tanggal yang dipublikasikan di atas kertas. Pengajuan ke jurnal tertentu juga tergantung pada tujuan dan ruang lingkup, politik (siapa yang ada di dewan editorial, siapa yang cenderung meninjau makalah Anda), komunitas apa yang ingin Anda jangkau (semacam saran dengan bidang subjek di atas) ). Saya masih berkonsultasi dengan orang lain tentang masalah ini. komunitas yang ingin Anda jangkau (semacam saran tentang bidang subjek di atas). Saya masih berkonsultasi dengan orang lain tentang masalah ini. komunitas yang ingin Anda jangkau (semacam saran tentang bidang subjek di atas). Saya masih berkonsultasi dengan orang lain tentang masalah ini.

Ketika saya melihat artikel, "prestise" dari jurnal, bagi saya, adalah perasaan internal saya yang mencerminkan pendapat orang-orang lain yang saya kenal dalam sains (penasihat, kolega, dll.). Saya lebih cenderung mempercayai sebuah artikel di jurnal yang lebih bergengsi karena saya merasa lebih mungkin untuk dipercaya, tetapi tentu saja ada artikel buruk di jurnal bergengsi, sehingga prestise bukanlah pengganti untuk melakukan uji tuntas Anda sendiri. Sebagai contoh, ada beberapa kesalahan ketik yang cukup serius dalam artikel jurnal yang baik yang saya kutip dari SIAM Review .

Bagaimanapun, itulah pendapat saya yang bertele-tele, dan sebagai PhD yang baru saja dicetak, saya yakin orang lain yang lebih berpengalaman akan memiliki lebih banyak perspektif dan wawasan untuk ditambahkan.

Penilaian tentu merupakan kegiatan subjektif. Jika Anda peduli bagaimana orang lain akan menilai kertas Anda, maka Anda perlu mencari tahu apa kriteria mereka . Sebagai patokan, semakin sedikit kompetensi yang mereka miliki di bidang pekerjaan Anda, semakin mereka akan bergantung pada peringkat jurnal daripada menilai pekerjaan Anda, dan semakin mereka akan bergantung pada bibliometri (faktor dampak, faktor h, ...) daripada pengalaman pribadi.

Ini adalah percakapan yang harus Anda lakukan dengan orang-orang di atas Anda yang akan mengevaluasi Anda. Jika Anda seorang mahasiswa PhD, maka Anda harus berbicara dengan penasihat Anda dan profesor lain tentang bagaimana departemen mereka dan departemen lain di lembaga lain mengevaluasi pekerjaan fakultas jalur penguasaan ketika membuat keputusan penguasaan mereka. Jika sekarang Anda adalah staf pengajar jalur tenurial, Anda seharusnya sudah melakukan pembicaraan ini dengan ketua departemen Anda dan anggota dewan anggaran departemen lain atau badan serupa tentang bagaimana mereka mengevaluasi pekerjaan kandidat tenurial. Jika Anda bukan seorang profesor mode, atau jika Anda seorang akademisi di suatu tempat tanpa masa kerja, Anda harus mengajukan pertanyaan yang sama kepada penyelia Anda tentang promosi dan retensi di institusi Anda.

Pengalaman saya adalah bahwa sebagian besar peneliti tidak benar-benar membaca atau mencoba mengikuti publikasi dalam jurnal yang relevan dengan bidang mereka secara langsung ketika mereka keluar. Tidak banyak orang memiliki langganan pribadi ke IJNMF, katakan, dan baca sampul depan setiap bulan untuk terbitan. Ada terlalu banyak tempat untuk diikuti. Lebih sering, saya menemukan, orang mencari pekerjaan terkait, menggunakan email atau peringatan google untuk mencari item terkait, dan mengikuti pekerjaan rekan kerja dan pesaing secara langsung. Jadi, yang penting bukanlah berusaha agar karya Anda dilihat melalui jurnal, tetapi untuk mempublikasikannya di tempat terbaik yang ditentukan oleh mereka yang akan menilai karier Anda.

Cara agar pekerjaan Anda terlihat adalah memasarkannya secara agresif melalui konferensi, seminar, perangkat lunak gratis, situs web Anda, dll. Ini mungkin tidak akan memengaruhi keputusan komite promosi Anda (atau sejenisnya), tetapi jika orang melihat dan menggunakan karya Anda melalui tempat lain, dan Anda memberi mereka pracetak dan tautan ke tempat diterbitkannya di jurnal, maka itu akan meningkatkan jumlah kutipan Anda, yang merupakan sesuatu yang penting bagi mereka yang berada di atas Anda.

Jawaban singkat saya adalah: Sayangnya, ada (hampir).

Ada peringkat oleh Aust MS untuk jurnal matematika dan saya pikir ada peringkat lain juga. Namun, menurut saya ini tidak membantu. Saya mengutip dari blog saya sendiri: "Pendapat saya adalah bahwa peringkat itu mungkin tetapi tidak berguna dan berbahaya. Itu mungkin, karena Anda dapat bertanya kepada ahli matematika yang berpengalaman dan Anda akan mendapatkan jawaban yang dapat diandalkan. Itu tidak berguna, karena Anda juga tahu jurnal mana yang baik atau Anda dapat bertanya kepada seorang kolega (yang pada dasarnya alasan yang sama dengan yang sebelumnya) .Bahaya, karena menawarkan kemungkinan untuk membuat keputusan tentang masa kerja atau memberikan angka-angka ini dan menggeser fokus dari apa yang Anda terbitkan ke tempat Anda mempublikasikan menerbitkan."

Ada beberapa sistem peringkat untuk kutipan, yang orang mungkin berpendapat adalah ukuran prestise yang layak - makalah penting dikutip lebih dan sejenisnya - yang paling umum adalah "faktor dampak". Tapi ini semua memiliki masalah mereka sendiri - mereka tidak konstan oleh lapangan, mereka rentan terhadap manipulasi oleh peneliti pintar, dll. Lainnya yang sedikit lebih baik adalah indeks-h dan indeks-g, tapi ... meh.

Secara umum, saya menemukan ada "perasaan" di lapangan untuk apa yang baik dan apa yang tidak - dan yang lebih penting, apa yang sesuai dan apa yang tidak untuk kertas Anda. Sebagai contoh, saya punya satu makalah yang berhasil masuk ke jurnal yang sangat bagus, tapi itu sama sekali tidak pantas, jadi sedikit merana.

Evaluator atau kolega Anda mungkin akan menjadi sumber terbaik untuk diajak bicara. Pengalaman sering merupakan penilaian terbaik dari apa yang dianggap "baik" untuk makalah tertentu yang cocok untuk jurnal tertentu. Peringkat Bidang umum (Biologi, Kedokteran, dll.), Atau lebih buruk lagi, peringkat Akademis-lebar mungkin tidak ada gunanya.