Adakah bukti empiris tentang kemanjuran CMMI?

Saya bertanya-tanya apakah ada studi yang meneliti kemanjuran proyek perangkat lunak dalam organisasi yang berorientasi CMMI. Misalnya, apakah organisasi CMMI lebih mungkin menyelesaikan proyek tepat waktu dan / atau sesuai anggaran daripada organisasi non-CMMI?

CMMI adalah singkatan dari "Capability Maturity Model Integration". Ini dikembangkan oleh Institut Rekayasa Perangkat Lunak di Carnegie-Mellon University (SEI-CMU).

Ini bukan sertifikasi , tetapi ada berbagai perusahaan yang akan "menilai" organisasi Anda ke berbagai level CMMI, seperti level 2 dan level 3. (Saya percaya CMMI level 1 adalah binatang, Hobbesian bebas-untuk-semua yang tidak diinginkan oleh siapa pun. dengan kata lain, semua orang setidaknya CMMI level 1, bahkan jika Anda belum pernah mendengar CMMI sebelumnya.)

Saya jelas bukan ahli, tetapi saya percaya bahwa suatu organisasi dapat dinilai untuk tingkat CMMI dalam lingkup pekerjaan yang berbeda: yaitu pengiriman layanan, pengembangan perangkat lunak, foobaring, dll. Pertanyaan saya difokuskan pada penilaian pengembangan perangkat lunak: apakah sebuah organisasi yang telah dinilai ke CMMI Level X untuk proyek perangkat lunak lebih mungkin untuk menyelesaikan proyek perangkat lunak tepat waktu dan sesuai anggaran dibandingkan organisasi lain yang belum dinilai ke CMMI Level X?

Namun, dengan tidak adanya data keras tentang CMMI yang berorientasi perangkat lunak, saya akan tertarik pada efek yang dimiliki penilaian CMMI pada kegiatan lain juga.

Saya awalnya mengajukan pertanyaan karena saya telah melihat berbagai studi yang dilakukan pada perangkat lunak (misalnya esai dalam The Mythical Man Month merujuk pada berbagai studi empiris, seperti halnya Kode Lengkap McConnell), jadi saya tahu bahwa ada organisasi yang melakukan studi empiris pengembangan perangkat lunak .

development-process cmmi

— Mark E. Haase
sumber

Integrasi Model Kematangan Kemampuan? Secara anekdot, melihat cmmifaq.info/#1 , menurut saya pertanyaan Anda terlalu disederhanakan. CMMI adalah tentang perbaikan proses, yang akan selalu membebani Anda lebih banyak waktu dan uang dalam jangka pendek. Apakah Anda mendapatkan pengembalian investasi itu, dan kapan, akan sangat tergantung pada keadaan organisasi saat ini dan banyak faktor pembaur.

— Robert Harvey

Karena CMM (pendahulu moral CMMi) telah ada sejak awal / pertengahan 90-an, Anda akan berpikir seseorang akan "berputar kembali" untuk memeriksa apakah menjadi bersertifikat CMMi * Level X benar-benar membuat perbedaan. Bagaimanapun, berputar kembali itu adalah bagian dari perbaikan proses yang seharusnya dipromosikan oleh CMM dan CMMi.

— Bruce Ediger

@BruceEdiger - Saya menduga tiga faktor mencegah hal ini terjadi sangat sering. Yang pertama adalah bahwa banyak perusahaan mengambil 'tren tahun' sehubungan dengan perbaikan. Mereka melakukan CMM untuk sementara waktu, kemudian Kaizan, dll, dll. Mereka tidak pernah benar-benar memahaminya, dan mereka tidak pernah menanyakan pertanyaan sulit karena mereka mencari peluru ajaib. Faktor kedua adalah bahwa jika Anda memiliki sesuatu yang berhasil, perusahaan dapat memutuskan bahwa ia tidak boleh berbicara karena takut akan membuat persaingan semakin ketat. Yang ketiga adalah bahwa mereka begitu sibuk mengerjakan pekerjaan mereka sehingga mereka tidak pernah repot untuk menyebutkannya.

— Michael Kohne

CMMI bukanlah proses pengembangan. Ini adalah cara untuk menggambarkan proses pengembangan. Saya telah bekerja di beberapa lokasi bersertifikasi CMMI. Mereka masing-masing memiliki proses pengembangan yang sangat berbeda, tetapi masing-masing telah disertifikasi.

— Masuk

@Micheal Kohne: cukup adil, tetapi CMM dan CMMi diumumkan secara resmi oleh para peneliti rekayasa perangkat lunak. Tampaknya seseorang yang tugasnya melakukan penelitian akan benar-benar mencoba untuk memvalidasi (atau mendapatkan validasi independen) dari kesimpulan percobaan mereka.

— Bruce Ediger

SEI telah menerbitkan beberapa materi mengenai dampak CMMI pada berbagai aspek pengembangan perangkat lunak. Ada beberapa sampel manfaat yang dilihat perusahaan dari mengadopsi CMMI atau SW-CMM. Selain itu, beberapa perusahaan telah memberikan kisah sukses mereka kepada SEI. Yang menarik adalah laporan teknis yang Mendemonstrasikan Dampak dan Manfaat CMMI: Pembaruan dan Hasil Awal . Meskipun ini semua dikuratori oleh SEI, saya cenderung mempercayai data ini karena SEI adalah pusat penelitian dan pengembangan yang didanai pemerintah federal dengan ikatan yang signifikan dengan komunitas akademik dan pemerintah daripada entitas komersial / nirlaba.

Anda mungkin juga tertarik dengan edisi Januari / Februari 2012 dari CrossTalk , yang merupakan jurnal untuk rekayasa perangkat lunak industri pertahanan. Masalah ini berfokus secara khusus pada manfaat mencapai kematangan CMMI yang tinggi (biasanya didefinisikan sebagai Level 4 dan Level 5) dan mengungkapkan data dari beberapa kontraktor pertahanan mengenai dampak terhadap biaya, jadwal, dan kualitas proyek (semuanya positif) ketika mereka pindah ke tingkat kematangan yang tinggi.

— Thomas Owens
sumber

SEI juga merupakan salah satu pemain utama dalam menciptakan CMMI dan memiliki sedikit keuntungan untuk melihatnya berhasil. Saya tidak berpikir jumlah materi pro-CMMI di situs web mereka adalah kecelakaan.

— Wyatt Barnett

Dengan cara yang sama semua "studi" yang menggembar-gemborkan kehebatan Windows dibayar oleh Microsoft sehingga tentu saja mereka akan menemukan bahwa Windows adalah yang terbaik ..,

— Wayne Molina

Saya pikir kita mendapat sedikit topik di sini. Selain bias, saya tidak melihat banyak cara data empiris di salah satu tautan tersebut - semuanya berorientasi studi kasus. Secara khusus, tidak satu pun dari mereka memiliki kelompok kontrol yang tidak menerapkan CMMI.

— Mark E. Haase

@mehaase Mereka empiris. Dalam hal perbaikan proses, lebih berharga untuk membandingkan organisasi Anda sendiri sebelum perubahan dengan organisasi Anda sendiri setelah perubahan karena konsistensi di seluruh produk, teknologi, pengetahuan dan keterampilan ...

— Thomas Owens

Cukup adil. Mereka, secara harfiah, "empiris", dalam arti bahwa mereka didasarkan pada pengamatan dan bukan deduksi, tetapi masih belum ada kelompok kontrol. Masalah dengan pendekatan sebelum dan sesudah adalah bahwa mungkin ada korelasi antara efektivitas organisasi dan tingkat CMMI, tetapi Anda tidak tahu ke arah mana kausalitas berjalan. Mungkin organisasi yang benar-benar tertarik untuk meningkatkan kemampuannya lebih mungkin mengadopsi CMMI, tetapi organisasi yang memotivasi diri seperti itu mungkin mampu meningkatkan diri bahkan tanpa CMMI.

— Mark E. Haase