Apakah ada penelitian formal dalam FizzBuzz Question Effectiveness? [Tutup]

Setelah melihat pertanyaan ini hari ini tentang variasi pertanyaan wawancara FizzBuzz, serta melihat pertanyaan lain yang terkait dengannya, saya harus bertanya: apakah ada penelitian formal tentang seberapa efektif ini sebagai teknik wawancara? Ada banyak orang yang mengatakan bahwa itu menyaring beberapa persentase kandidat yang terdengar gila (95% + dalam beberapa kasus) tetapi seberapa bagus untuk menemukan programmer / pengembang yang baik?

Ada beberapa penelitian yang menunjukkan bahwa soft skill mungkin menjadi indikator yang lebih baik daripada hard skill untuk memilih kandidat yang baik untuk peran pekerjaan. Selain itu, mungkin ada beberapa alasan menengah mengapa begitu banyak kandidat gagal dalam ujian ini (gugup, berpikir "ini tipuan", dll.).

Berdasarkan komentar sejauh ini, sepertinya ide di balik pertanyaan FizzBuzz adalah untuk menentukan apakah orang tersebut memiliki keterampilan pengkodean yang baik (cukup) untuk dipertimbangkan lebih lanjut. Saya tidak sepenuhnya yakin FizzBuzz benar-benar melakukan ini. Juga, ingatlah bahwa FizzBuzz memfilter persentase kandidat yang sangat besar pada awal proses perekrutan, yang dapat berarti bahwa sejumlah besar kandidat yang baik dihapus sejak awal karena mereka tidak dapat menyelesaikan masalah konyol dengan cukup cepat.

Juga, saya akan tunjukkan bahwa melihat keefektifan FizzBuzz adalah sesuatu yang sepenuhnya dapat dilakukan secara kuantitatif. Ini tidak seperti melihat "fit" atau "passion" yang sangat bervariasi dan sangat tidak ilmiah (tetapi masih cukup penting untuk keputusan perekrutan baru).

Sudah lama sejak saya membaca tentang penelitian wawancara kerja, (jadi saya tidak bisa spesifik situs, yang saya minta maaf) tetapi aturan umum adalah bahwa orang mempekerjakan berdasarkan soft skill tetapi tidak ada korelasi antara itu dan kinerja. Pengujian untuk keterampilan tertentu dapat bekerja, untuk kepribadian tidak (menurut data yang dapat diukur).

Hampir semua orang percaya teknik wawancara khusus mereka berfungsi, data mengatakan Anda mungkin tidak perlu repot-repot mewawancarai (bagian "ceritakan tentang diri Anda" dalam wawancara, sebagai lawan pengujian obyektif) karena kandidat yang dipilih oleh pewawancara tidak lebih baik tetapi pewawancara menunjukkan bias terhadap ekstrovert, orang-orang yang secara demografis mirip dengan pewawancara, orang-orang tinggi, orang-orang yang menarik, dll. (Bisa dibilang Anda harus mempekerjakan orang-orang yang berprestasi baik dalam tes dan buruk pada sisa wawancara, karena mereka tampaknya sama baiknya dalam pekerjaan tetapi mungkin lebih sulit meninggalkan perusahaan Anda).

Saya agak berharap dinyalakan untuk ini, biasanya siapa pun yang saya katakan ini mengatakan "tapi kami menggunakan metode X dan itu benar-benar bekerja untuk kami", tetapi kecuali Anda

1. mempekerjakan beberapa orang yang tidak lulus proses wawancara Anda,

2. jangan beri tahu rekan kerja mereka siapa yang lewat dan siapa yang tidak, dan

3. membandingkan kinerja mereka yang lulus dengan mereka yang tidak, menggunakan kriteria objektif yang telah disepakati sebelumnya

Anda benar-benar tidak tahu apakah proses Anda berhasil. Sayangnya efektivitas wawancara pada dasarnya sulit untuk dievaluasi.

Jika Anda bertanya-tanya, percobaan melakukan hal-hal seperti meminta orang untuk mengevaluasi kandidat berdasarkan transkrip wawancara, dari kandidat yang sebenarnya sudah dipekerjakan (di antara banyak teknik lainnya). Idealnya para peneliti akan meminta orang melakukan wawancara, memilih kandidat, menghapus ingatan pewawancara, memilih secara acak siapa yang akan direkrut dari antara para kandidat, dan membandingkan kinerja para kandidat dengan menggunakan kriteria objektif dan akurat dibandingkan dengan penilaian yang diberikan oleh pewawancara, tetapi eksperimen itu sulit dilakukan.

Jadi, meskipun saya belum melihat penelitian FizzBuzz tertentu, itu adalah semacam hal yang dapat menunjukkan efektivitas dalam pengujian ilmiah. Jika menyaring 95% kandidat maka saya akan penasaran mengapa - itu diciptakan begitu mudah bukan kepalang sehingga hanya seorang programmer yang tidak kompeten yang bisa gagal melewatinya, dan sulit untuk melihat bagaimana cara membodohi FizzBuzz. Saya ingin tahu berapa persen yang lulus dari tes "Halo dunia"? Tes "membuat komputer melakukan sesuatu, apa saja"?

Tujuan dari fizzbuzz bukan untuk menemukan programmer yang baik, tetapi untuk menemukan kelas programmer yang buruk, yaitu orang-orang yang tidak dapat mengimplementasikan algoritma sederhana. Pertanyaan Anda seperti menanyakan berapa banyak juara Nascar yang diidentifikasi selama ujian SIM mereka. Ada banyak jalan tengah antara seseorang yang pasti tidak ingin Anda pekerjakan dan seseorang yang pasti Anda lakukan.

Ada kelas lain dari programmer "buruk" yang memerlukan metode identifikasi yang berbeda, seperti mereka yang tidak mahir dalam bahasa tertentu atau memiliki masalah perilaku. Namun, programmer "fizzbuzz-bad" hampir secara universal tidak diinginkan, itulah sebabnya tes ini sangat sering direkomendasikan. Apakah seorang programmer yang terlalu teritorial atau yang perlu mentransfer keterampilan ke bahasa baru adalah "baik" atau "buruk" lebih tergantung pada kebutuhan dan preferensi masing-masing majikan.

FizzBuzz bukan tentang mengidentifikasi programmer yang baik, ini tentang menghilangkan yang buruk / penipu. Jika seorang kandidat tidak dapat lulus tes FizzBuzz maka mereka tidak tahu cara memprogram dan seharusnya tidak melamar posisi pemrograman.