Konsep 'terbukti secara statistik'

Ketika berita berbicara tentang hal-hal yang 'terbukti secara statistik' apakah mereka menggunakan konsep statistik yang terdefinisi dengan benar, menggunakannya salah, atau hanya menggunakan oxymoron?

Saya membayangkan bahwa 'bukti statistik' sebenarnya bukan sesuatu yang dilakukan untuk membuktikan hipotesis, atau bukti matematika, tetapi lebih dari 'uji statistik'.

Apa yang dibicarakan orang adalah dugaan siapa pun dan berbeda dengan siaran berita. Mungkin yang paling umum adalah mereka memberikan ringkasan penelitian yang membutuhkan beberapa halaman.

Namun, paragraf terakhir Anda salah. Secara statistik, setiap keluarga TIDAK memiliki 2,4 anak. Rata - rata adalah 2,4 anak-anak. Ini sepenuhnya mungkin. Jika Anda mengambil sampel acak dari keluarga Amerika (sulit untuk dilakukan, tetapi mungkin) maka Anda akan mendapatkan estimasi rata-rata. Namun, jika Anda mengambil sensus keluarga, maka, jika sensus itu benar-benar membuat setiap keluarga (tidak) atau, jika orang yang didapatnya mewakili orang yang tidak mendapatkannya, sehubungan dengan jumlah anak, maka Anda akan membuktikan fakta.

Namun, tidak hanya sensus yang merindukan orang, orang-orang yang dilewatinya juga berbeda dalam banyak hal dengan orang yang mendapatkannya. Karena itu, Biro Sensus mencoba mencari tahu bagaimana mereka berbeda; dengan demikian, sekali lagi, memberikan perkiraan jumlah anak per keluarga.

Tetapi ada beberapa hal yang dapat Anda buktikan; jika Anda ingin tahu, katakanlah, jumlah rata-rata tahun yang diajarkan setiap profesor di departemen Anda, Anda bisa mendapatkan data yang akurat dan menghasilkan mean yang tepat.

Paragraf kedua dari belakang Anda juga bermasalah karena tes statistik dilakukan tepat untuk membuktikan hipotesis; lebih tepatnya, mereka dilakukan (dalam kerangka frequentist, toh) untuk menolak hipotesis nol pada tingkat signifikansi tertentu.

Saya pikir - seperti banyak hal lainnya - ini adalah kombinasi dari kesalahpahaman budaya yang meluas dan upaya jurnalistik untuk membuat tulisan cepat yang kadang-kadang menyesatkan.

" Ponsel menyebabkan kanker! " Menjual lebih banyak iklan daripada beberapa penjelasan tentang menyelidiki kemungkinan tautan.

Tentu saja kesimpulan berdasarkan inferensi statistik bukanlah bukti dalam bentuk apa pun. Ini bergantung pada asumsi, dan bahkan kemudian kesimpulan (paling-paling) adalah probabilistik (seperti yang kita dapatkan, katakan dengan inferensi Bayesian), dan kemudian dengan inferensi frequentist Anda harus menambahkan kesalahan interpretasi yang salah dari nilai-p sebagai probabilitas bahwa null itu benar. Itu bahkan tanpa mempertimbangkan masalah seperti publikasi atau bias pelaporan

Anda melihat kesalahan yang serupa sama banyak dengan pelaporan sains secara lebih umum dan itu juga membuat frustrasi .

Saya sendiri tidak suka frasa 'terbukti secara statistik', karena saya pikir itu memberi kesan yang salah. Sementara statistik yang dilakukan dengan baik adalah alat yang ampuh, hal-hal yang sebenarnya disampaikan statistik kepada kita bisa sangat halus dan diskusi yang tepat tentang makna dari apa yang dipelajari dan kualifikasi yang menyertainya pada kesimpulan sering tidak cocok dengan hype dan punchiness dari headline atau beberapa paragraf tergesa-gesa terjepit di sela-sela gosip selebritas yang biasa.

Memang, bahkan dalam jurnal akademik di mana kualifikasi semacam itu akan tampak penting, mereka sering dikesampingkan dan malah muncul beberapa pernyataan formula (berbeda dari area penelitian ke area penelitian) yang dianggap sebagai 'urapan' hasilnya.

Saya pikir ada ruang untuk secara hati-hati menjelaskan alasan dari hasil inferensi (apakah estimasi titik dan interval, pengujian hipotesis, perhitungan teoretik keputusan atau bahkan konstruksi eksplorasi dari beberapa perbandingan visual) ke kesimpulan yang mereka tuju. Alasan itu adalah di mana inti masalah yang sebenarnya (termasuk di mana kesenjangan dalam penalaran akan dibiarkan terbuka, jika mereka eksplisit) dan kita jarang melihatnya diletakkan.

Selain itu, kita bisa terus mengeluarkan nada peringatan

Pengetahuan empiris selalu probabilistik - tidak pernah benar atau salah, tetapi selalu ada di antaranya. Statistik "bukti" adalah masalah mengumpulkan data yang cukup untuk mengurangi probabilitas bahwa suatu hipotesis salah sampai kurang dari beberapa ambang batas yang diterima. Dan ambang untuk "kebenaran" atau "kebenaran" berbeda dari satu disiplin akademis ke yang berikutnya. Sosiolog puas dengan probabilitas 95% untuk menjadi benar, dan kadang-kadang menerima kurang; Fisikawan kuantum menuntut 99,99999% atau lebih baik.