Apa bias paling umum yang dibuat manusia ketika mengumpulkan atau menafsirkan data?

Saya seorang econ / stat major. Saya sadar bahwa para ekonom telah mencoba memodifikasi asumsi mereka tentang perilaku manusia dan rasionalitas dengan mengidentifikasi situasi di mana orang tidak berperilaku rasional. Sebagai contoh, misalkan saya menawarkan kepada Anda peluang 100% dari kerugian $ 1000 atau peluang 50% pada kerugian $ 2500, orang memilih opsi $ 2500 meskipun nilai yang diharapkan dari yang terakhir adalah kerugian yang lebih besar daripada jaminan $ 1000 yang dijamin kerugian. Ini dikenal sebagai "loss aversion". Ekonom perilaku sekarang mempelajari pola-pola ini dan mencoba mengidentifikasi cara-cara manusia menyimpang dari aksioma-aksioma yang biasanya dianggap sebagai perilaku "rasional". Di sini, saya menganggap rasional untuk memilih kerugian yang paling tidak diharapkan.

Saya bertanya-tanya apakah ahli statistik telah mengidentifikasi pola umum dalam pengumpulan data yang menghasilkan hasil yang bias dalam cara orang menafsirkan data. Jika pada dasarnya ada cara "rasional" untuk mengumpulkan data, saya berasumsi ada contoh di mana manusia menyimpang dari ini dan menunjukkan "bias". Jika demikian, bias apa yang paling umum dibuat manusia ketika mengumpulkan atau menafsirkan data?

Saya pikir dalam dunia akademis, nilai-p sangat sering disalahartikan. Orang-orang cenderung lupa bahwa nilai-p mengungkapkan probabilitas bersyarat. Bahkan jika percobaan telah dilakukan dengan sempurna dan semua syarat uji statistik yang dipilih terpenuhi, tingkat penemuan palsu biasanya jauh lebih tinggi daripada tingkat signifikansi alfa. Tingkat penemuan palsu meningkat dengan penurunan kekuatan statistik dan prevalensi positif sejati (Colquhoun, 2014; Nuzzo, 2014).

Selain itu orang cenderung menganggap perkiraan mereka sebagai kebenaran dan parameter yang mereka perkirakan sebagai acak (Haller & Kraus, 2002). Misalnya ketika mereka mengatakan bahwa dalam “95% kasus, interval kepercayaan yang teridentifikasi ini meliputi parameter” ...

Kebingungan korelasi dan sebab-akibat mungkin juga merupakan kesalahan yang sangat umum dalam interpretasi data.

Dalam hal pengumpulan data, saya pikir kesalahan umum adalah mengambil sampel yang paling mudah diakses daripada sampel yang paling representatif.

Colquhoun, D. (2014). Investigasi tingkat penemuan palsu dan salah tafsir dari nilai-nilai P. Royal Society Open Science, 1–15.

Nuzzo, R. (2014). Kesalahan statistik: Nilai P, "standar emas" validitas statistik tidak dapat diandalkan seperti yang diasumsikan oleh banyak ilmuwan. Alam, 506, 150–152.

Haller, H. & Kraus, S. (2002): Misinterpretasi Signifikansi: Suatu Masalah yang Dibagikan Siswa dengan Guru Mereka? Metode Penelitian Psikologis Online, Vol.7, No.1

Saya akan mengatakan ketidakmampuan umum untuk menghargai seperti apa keacakan sebenarnya. Orang-orang tampaknya berharap terlalu sedikit pola palsu daripada yang sebenarnya terjadi dalam urutan kejadian acak. Ini juga muncul ketika kami mencoba mensimulasikan keacakan sendiri.

Satu lagi yang cukup umum adalah tidak memahami kemandirian, seperti dalam kekeliruan penjudi. Kami terkadang berpikir bahwa peristiwa sebelumnya dapat memengaruhi peristiwa di masa depan meskipun hal itu jelas tidak mungkin, seperti kesepakatan sebelumnya dari tumpukan kartu yang diacak yang memengaruhi yang akan datang.

Telah ditunjukkan bahwa banyak perilaku dan proses berpikir yang berlabel "irasional" atau "bias" oleh para ekonom (perilaku) sebenarnya sangat adaptif dan efisien di dunia nyata. Meskipun demikian, pertanyaan OP menarik. Saya pikir, bagaimanapun, bahwa mungkin menguntungkan untuk merujuk pada pengetahuan deskriptif yang lebih mendasar tentang proses kognitif kita, daripada mencari "bias" spesifik yang sesuai dengan yang dibahas dalam literatur ekonomi (misalnya, keengganan kerugian, efek abadi, baserate mengabaikan dll).

Misalnya, evaluabilitas tentu menjadi masalah dalam analisis data. Teori evaluasi menyatakan bahwa kita kelebihan informasi yang kita temukan mudah untuk ditafsirkan atau dievaluasi. Pertimbangkan kasus koefisien regresi. Mengevaluasi konsekuensi "dunia nyata" dari suatu koefisien bisa menjadi kerja keras. Kita perlu mempertimbangkan unit variabel independen dan dependen juga distribusi variabel independen dan dependen kami untuk memahami apakah suatu koefisien memiliki relevansi praktis. Di sisi lain, mengevaluasi signifikansi koefisien itu mudah: Saya hanya membandingkan nilai-pnya dengan tingkat alfa saya. Mengingat evaluabilitas yang lebih besar dari nilai-p dibandingkan dengan koefisien itu sendiri, hampir tidak mengejutkan bahwa begitu banyak yang dibuat dari nilai-p.

(Standarisasi meningkatkan kemampuan mengevaluasi suatu koefisien, tetapi hal itu dapat meningkatkan ambiguitas : pengertian bahwa informasi yang relevan tidak tersedia atau ditahan, karena bentuk "asli" dari data yang kami proses tidak tersedia bagi kami.)

"Bias" kognitif yang terkait adalah prinsip konkret, kecenderungan untuk kelebihan informasi yang "ada di sana" dalam konteks keputusan, dan tidak memerlukan pengambilan dari memori. (Prinsip konkret juga menyatakan bahwa kita cenderung menggunakan informasi dalam format yang diberikan dan cenderung menghindari melakukan transformasi.) Menafsirkan nilai p dapat dilakukan hanya dengan melihat output regresi; itu tidak mengharuskan saya untuk mengambil pengetahuan substantif tentang hal yang saya modelkan.

Saya berharap bahwa banyak bias dalam interpretasi data statistik dapat ditelusuri ke pemahaman umum bahwa kita cenderung mengambil rute yang mudah ketika memecahkan masalah atau membentuk penilaian (lihat "kikir kognitif", "rasionalitas terbatas" dan sebagainya) . Terkait, melakukan sesuatu "dengan mudah" biasanya meningkatkan kepercayaan dengan yang kita pegang keyakinan yang dihasilkan ( teori kelancaran ). (Orang mungkin juga mempertimbangkan kemungkinan bahwa data yang lebih mudah untuk diartikulasikan- untuk diri sendiri atau orang lain - kelebihan berat badan dalam analisis kami.) Saya pikir ini menjadi sangat menarik ketika kami mempertimbangkan kemungkinan pengecualian. Beberapa penelitian psikologis menunjukkan, misalnya, bahwa jika kita percaya bahwa suatu masalah seharusnya sulit untuk dipecahkan, maka kita mungkin lebih menyukai pendekatan dan solusi yang kurang konkret dan lebih sulit, misalnya, memilih metode yang lebih misterius daripada yang sederhana.

Faktor tunggal terbesar yang dapat saya pikirkan secara luas dikenal sebagai "bias konfirmasi". Setelah menentukan apa yang menurut saya akan ditunjukkan oleh penelitian saya, saya secara tidak kritis menerima data yang mengarah pada kesimpulan itu, sambil membuat alasan untuk semua poin data yang tampaknya membantahnya. Saya mungkin secara tidak sadar menolak sebagai "kesalahan instrumen yang jelas" (atau beberapa yang setara) poin data yang tidak sesuai dengan kesimpulan saya. Dalam beberapa kasus, itu tidak akan terlalu mencolok; daripada membuang poin data sepenuhnya, saya akan membuat beberapa formula untuk menghapus "kesalahan", yang akan mengarahkan hasil menuju konfirmasi kesimpulan saya yang sudah ditentukan sebelumnya.

Tidak ada yang jahat tentang ini; itu hanya cara otak kita bekerja. Dibutuhkan banyak upaya untuk menyaring bias semacam itu, dan itu adalah salah satu alasan mengapa para ilmuwan suka meramu studi-studi double-blind, sehingga orang yang melakukan pengukuran tidak tahu apa yang diharapkan dari eksperimen tersebut untuk dibuktikan. Maka dibutuhkan disiplin yang sangat besar untuk tidak menyesuaikan apa yang telah diukur dengan setia.

Linearitas .

Saya pikir bias umum selama interpretasi data / analisis adalah bahwa orang biasanya cepat menganggap hubungan linier. Secara matematis, model regresi mengasumsikan bahwa komponen deterministiknya adalah fungsi linier dari prediktor; sayangnya itu tidak selalu benar. Saya baru-baru ini pergi ke sebuah konferensi poster sarjana dan jumlah tren kuadratik atau non-linear yang saya lihat dilengkapi dengan model linier mengkhawatirkan untuk sedikitnya.

$p$

Kasus intersting adalah diskusi Fallacy Gamblers.

Haruskah data yang ada dimasukkan atau dikeluarkan? Jika saya sudah maju dengan 6 enam, apakah ini akan dimasukkan dalam menjalankan saya selusin mencoba? Perjelas tentang data sebelumnya.

Kapan saya harus mengubah dari angka absolut ke rasio? Dibutuhkan waktu yang lama untuk keuntungan yang diperoleh selama kemenangan beruntun untuk kembali ke nol (jalan acak).

0,1% dari satu juta dolar mungkin tidak banyak untuk perusahaan besar, tetapi kehilangan $ 1000 bisa menjadi hidup dan mati bagi seorang pedagang tunggal (itulah sebabnya investor ingin orang-orang yang 'didorong' untuk berinvestasi). Mampu bergeser ke persentase bisa menjadi bias.

Bahkan ahli statistik memiliki bias.

Saya akan merekomendasikan "Berpikir, Cepat dan Lambat" oleh Daniel Kahneman , yang menjelaskan banyak bias kognitif dalam bahasa yang jernih.

Anda juga dapat merujuk ke " http://www.burns-stat.com/review-thinking-fast-slow-daniel-kahneman/ " yang merangkum beberapa bias dalam buku di atas.

Untuk ringkasan bab yang lebih terperinci, Anda mungkin ingin membaca " https://erikreads.files.wordpress.com/2014/04/thinking-fast-and-slow-book-summary.pdf ".