Saya suka pertanyaan ini karena mengenai politik yang ada di setiap organisasi. Dalam pandangan saya dan ke tingkat yang signifikan, harapan tentang kinerja model adalah fungsi dari budaya organisasi dan sejauh mana organisasi "melek secara teknis." Salah satu cara untuk memperjelas apa yang saya maksud adalah dengan mempertimbangkan perbedaan antara 4 entitas "ilmu data" besar - Google, FB, Amazon dan Yahoo - versus 4 entitas induk agen besar - WPP, Omnicon, Interbrand, dan Publicis. Google, dkk, sangat melek secara teknis. Agensi, di sisi lain, dikenal condong ke arah fobia teknologi. Apa buktinya untuk ini? Pertama, kelompok melek teknis didirikan atau dijalankan oleh insinyur, ilmuwan komputer, Geeks dan orang-orang dengan latar belakang teknologi yang kuat. Siapa yang menjalankan perusahaan teknologi buta huruf? Pemasar yang menjadi terkenal karena komunikasi yang lembut dan keterampilan orang. Dan tidak hanya itu, setelah bekerja di beberapa toko di NYC, saya dapat bersaksi bahwa organisasi-organisasi ini secara sistematis menghukum dan / atau mendorong tipe-tipe yang sangat melek teknis sebagai tidak "cocok" dengan budaya. Selanjutnya, pertimbangkan kapitalisasi pasar (saham) agregat mereka, kelompok melek teknologi menambahkan hingga sekitar 800 miliar dolar sementara kelompok yang buta huruf teknologi berjumlah 80 miliar. Entitas melek teknologi 10x lebih besar dari yang lainnya di kapitalisasi pasar. Ini adalah pernyataan yang jelas tentang ekspektasi pasar dan tidak terlalu tinggi untuk mereka yang buta huruf. Jadi, dengan ekstrapolasi, harapan seperti apa yang dapat Anda miliki untuk menantang ekspektasi "akurasi prediktif" dari bozos seperti ini? Setelah bekerja di beberapa toko ini di NYC, saya dapat bersaksi bahwa organisasi-organisasi ini secara sistematis menghukum dan / atau mendorong tipe-tipe yang sangat melek teknis sebagai tidak "cocok" dengan budaya. Selanjutnya, pertimbangkan kapitalisasi pasar (saham) agregat mereka, Kelompok melek teknologi menambahkan hingga sekitar 800 miliar dolar sementara kelompok yang buta huruf teknologi berjumlah 80 miliar. Entitas melek teknologi 10x lebih besar dari yang lainnya di kapitalisasi pasar. Ini adalah pernyataan yang jelas tentang ekspektasi pasar dan tidak terlalu tinggi untuk mereka yang buta huruf. Jadi, dengan ekstrapolasi, harapan seperti apa yang dapat Anda miliki untuk menantang ekspektasi "akurasi prediksi" dari bozos seperti ini? Setelah bekerja di beberapa toko ini di NYC, saya dapat bersaksi bahwa organisasi-organisasi ini secara sistematis menghukum dan / atau mendorong tipe-tipe yang sangat melek teknis sebagai tidak "cocok" dengan budaya. Selanjutnya, pertimbangkan kapitalisasi pasar (saham) agregat mereka, Kelompok melek teknologi menambahkan hingga sekitar 800 miliar dolar sementara kelompok yang buta huruf teknologi berjumlah 80 miliar. Entitas melek teknologi 10x lebih besar dari yang lainnya di kapitalisasi pasar. Ini adalah pernyataan yang jelas tentang ekspektasi pasar dan tidak terlalu tinggi untuk mereka yang buta huruf. Jadi, dengan ekstrapolasi, harapan seperti apa yang dapat Anda miliki untuk menantang ekspektasi "akurasi prediksi" dari bozos seperti ini? mempertimbangkan kapitalisasi pasar (saham) agregat mereka, Kelompok melek teknologi menambahkan hingga sekitar 800 miliar dolar sementara kelompok yang buta huruf teknologi berjumlah 80 miliar. Entitas melek teknologi 10x lebih besar dari yang lainnya di kapitalisasi pasar. Ini adalah pernyataan yang jelas tentang ekspektasi pasar dan tidak terlalu tinggi untuk mereka yang buta huruf. Jadi, dengan ekstrapolasi, harapan seperti apa yang dapat Anda miliki untuk menantang ekspektasi "akurasi prediksi" dari bozos seperti ini? mempertimbangkan kapitalisasi pasar (saham) agregat mereka, Kelompok melek teknologi menambahkan hingga sekitar 800 miliar dolar sementara kelompok yang buta huruf teknologi berjumlah 80 miliar. Entitas melek teknologi 10x lebih besar dari yang lainnya di kapitalisasi pasar. Ini adalah pernyataan yang jelas tentang ekspektasi pasar dan tidak terlalu tinggi untuk mereka yang buta huruf. Jadi, dengan ekstrapolasi, harapan seperti apa yang dapat Anda miliki untuk menantang ekspektasi "akurasi prediksi" dari bozos seperti ini?
Jadi, mengingat pelarian budaya dan tergantung di mana Anda jatuh, Anda harus memiliki harapan yang lebih atau kurang realistis. Tentu saja, entitas "buta huruf teknologi" yang berbeda akan memiliki manajer yang tahu apa yang mereka lakukan, tetapi sebagian besar, entitas ini didominasi oleh kebodohan penyebut umum terendah dalam keterampilan teknologi, yaitu, orang yang paling ahli teknis setengah melek huruf (dan berbahaya) atau, lebih umum, benar-benar tidak terhitung tetapi tidak mengetahuinya. Contohnya, saya bekerja untuk seorang pria yang menginginkan kata-kata seperti "korelasi" digosok dari c-suite deck. Ini adalah kasus yang ekstrem: lagipula, setiap sekretaris tahu apa "korelasi" itu.
Hal ini menimbulkan masalah bagaimana seseorang berurusan dengan orang yang naif dan tak terhitung ketika mereka mengajukan pertanyaan yang benar-benar bodoh seperti, "Mengapa Anda tidak mendapatkan akurasi prediksi 99%?" Satu jawaban yang baik adalah menjawab dengan pertanyaan seperti, "Mengapa Anda menganggap PA setinggi yang tidak realistis itu mungkin?" Yang lain mungkin, "Karena jika saya benar-benar mendapatkan 99% PA, saya akan berasumsi bahwa saya melakukan sesuatu yang salah." Yang sangat mungkin benar, bahkan dengan 90% PA.
Ada pertanyaan yang lebih mendasar dari desakan pada PA sebagai satu-satunya kriteria untuk nilai model. Almarhum Leo Breiman meninggalkan banyak jejak kaki pada komunitas pemodelan statistik dan prediktif yang salah satunya adalah PA. Perhatian utamanya dengan PA adalah untuk mengatasi banyak kritik yang dibuat di tahun 90-an tentang ketidakstabilan dan kesalahan yang melekat dalam menjalankan pohon CART tunggal. Solusinya adalah memotivasi “hutan acak” sebagai metode perkiraan dan sementara yang akan memaksimalkan akurasi dan mengurangi ketidakstabilan dengan menghilangkan struktur pohon. Dia membandingkan MSE yang lebih rendah dari ~ 1.000 "mini-model" RF iteratif terhadap kesalahan dari model regresi logistik tunggal. Satu-satunya masalah adalah dia tidak pernah repot-repot menyebutkan perbandingan apel dengan jeruk:
Netflix Prize 2008 menawarkan hadiah uang yang cukup besar kepada ahli statistik atau tim mana pun yang dapat meningkatkan MSE sistem rekomendasi mereka. Pada saat itu, Netflix menghabiskan $ 150 juta per tahun untuk sistem ini, yakin bahwa biayanya lebih dari pulih dalam kesetiaan pelanggan dan pembelian film yang seharusnya tidak akan pernah dipilih. Pemenang akhirnya menggunakan ansambel kompleks dari 107 model yang berbeda.
Seperti yang dipelajari Netflix, masalah sebenarnya adalah bahwa, dari perspektif biaya penuh, peningkatan aktual kesalahan atas model mereka saat ini adalah hanya pengurangan 0,005% di peringkat 5 poin. Belum lagi bahwa biaya TI dalam waktu, angkat berat dan pemeliharaan ansambel 107 model menang lebih dari membatalkan setiap keuntungan dari pengurangan kesalahan. Mengingat hal ini, Netflix akhirnya mengabaikan pengejaran MSE dan tidak ada lagi Hadiah Netflix yang diberikan
Dan inilah intinya: meminimalkan kesalahan prediktif dapat dengan mudah di-gamed atau di-retas dan rentan terhadap kecurangan analis (yaitu, menemukan solusi yang mengagungkan keterampilan permodelan analis, berdampak positif pada potensi bonus akhir tahun-nya). Selain itu, ini adalah solusi dan tujuan statistik sepenuhnya ditetapkan dalam kekosongan ekonomi dan bisnis. Metrik ini memberikan sedikit atau tidak sama sekali pertimbangan biaya tambahan, jaminan - konsekuensi operasional yang sangat nyata dievaluasi dari A hingga Z yang harus menjadi bagian integral dari setiap proses pengambilan keputusan berbasis trade-off.
Ini telah menjadi salah satu masalah yang tertanam dalam organisasi dan sangat, sangat sulit untuk diubah. Dengan kata lain, saya sepenuhnya sadar bahwa saya memiringkan kincir angin dengan kata-kata kasar tentang peringatan dengan penggunaan PA.