Tentang George Box, Galit Shmueli dan metode ilmiahnya?

(Pertanyaan ini mungkin sepertinya lebih cocok untuk Philosophy SE. Saya berharap bahwa ahli statistik dapat mengklarifikasi kesalahpahaman saya tentang pernyataan Box dan Shmueli, maka saya mempostingnya di sini).

George Box (dari ARIMA fame) berkata:

"Semua model salah, tetapi beberapa berguna."

Galit Shmueli dalam makalahnya yang terkenal "To Explain or Predict" , berpendapat (dan mengutip orang lain yang setuju dengannya) bahwa:

Menjelaskan dan memprediksi tidak sama, dan bahwa beberapa model melakukan pekerjaan menjelaskan dengan baik, meskipun mereka melakukan pekerjaan yang buruk dalam memprediksi.

Saya merasa bahwa prinsip-prinsip ini entah bagaimana bertentangan.

Jika model tidak memprediksi dengan baik, apakah itu berguna?

Lebih penting lagi, jika suatu model menjelaskan dengan baik (tetapi tidak selalu memprediksi dengan baik), maka itu harus benar (yaitu tidak salah) dalam beberapa hal. Jadi bagaimana kaitannya dengan Box "semua model salah"?

Akhirnya, jika model menjelaskan dengan baik, tetapi tidak dapat memprediksi dengan baik, bagaimana ini bahkan ilmiah? Kebanyakan kriteria demarkasi ilmiah (verifikasi, falsificstionism, dll ...) menyiratkan bahwa pernyataan ilmiah harus memiliki kekuatan prediksi, atau bahasa sehari-hari: Sebuah teori atau model hanya benar jika dapat diuji secara empiris (atau dipalsukan), yang berarti bahwa harus memprediksi hasil di masa depan.

Pertanyaan saya:

• Apakah pernyataan Box dan ide-ide Shmueli memang bertentangan, atau apakah saya kehilangan sesuatu, misalnya model tidak memiliki kekuatan prediktif namun masih berguna?
• Jika pernyataan Box dan Shmueli tidak bertentangan, lalu apa artinya bagi model untuk menjadi salah dan tidak memprediksi dengan baik, namun masih memiliki kekuatan penjelas? Dengan kata lain: Jika seseorang menghilangkan kebenaran dan kemampuan prediksi, apa yang tersisa dari model?

Apa validasi empiris yang mungkin ketika model memiliki kekuatan penjelas, tetapi bukan daya prediksi? Shmueli menyebutkan hal-hal seperti: gunakan AIC untuk penjelasan dan BIC untuk prediksi, dll, ... tapi saya tidak melihat bagaimana itu menyelesaikan masalah. Dengan model prediktif, Anda dapat menggunakan regularisasi AIC, atau BIC, atau , atau , dll ... tetapi pada akhirnya dari pengujian sampel dan kinerja dalam produksi adalah apa yang menentukan kualitas model. Tetapi untuk model yang menjelaskan dengan baik, saya tidak melihat bagaimana fungsi kerugian dapat benar-benar mengevaluasi suatu model. Dalam filsafat sains, ada konsep underdetermination$R^2$$L1$yang tampaknya relevan di sini: Untuk setiap set data yang diberikan, kita selalu dapat dengan bijaksana memilih beberapa distribusi (atau campuran distribusi) dan fungsi kerugian sedemikian rupa sehingga sesuai dengan data (dan karenanya dapat diklaim untuk menjelaskannya). Selain itu, ambang batas yang harus di bawah untuk seseorang untuk mengklaim bahwa model tersebut cukup menjelaskan data adalah arbitrer (jenis seperti nilai-p, mengapa dan bukan atau ?).$L$$L$$p < 0.05$$p < 0.1$$p < 0.01$

• Berdasarkan hal di atas, bagaimana seseorang dapat secara valid memvalidasi model yang menjelaskan dengan baik, tetapi tidak memprediksi dengan baik, karena dari pengujian sampel tidak mungkin?

Mari saya mulai dengan kutipan bernada tinggi oleh George Box, bahwa "semua model salah, tetapi beberapa berguna". Pernyataan ini adalah enkapsulasi dari pendekatan metodologis "positivisme", yang merupakan pendekatan filosofis yang sangat berpengaruh dalam ilmu. Pendekatan ini dijelaskan secara rinci (dalam konteks teori ekonomi) dalam esai metodologis klasik Friedman (1966) . Dalam esai itu, Friedman berpendapat bahwa teori ilmiah apa pun yang berguna harus merupakan penyederhanaan realitas, dan dengan demikian asumsi-asumsinya harus selalu bertolak dari kenyataan sampai taraf tertentu, dan bahkan dapat menyimpang secara substansial dari kenyataan.dalam mengurangi kompleksitas dunia menjadi seperangkat prinsip yang dapat dikelola, dan keakuratannya dalam membuat prediksi tentang realitas, dan menghasilkan hipotesis baru yang dapat diuji tentang realitas. Jadi, Friedman berpendapat bahwa "semua model salah" sejauh mereka semua mengandung asumsi yang menyederhanakan (dan karena itu menyimpang dari) kenyataan, tetapi bahwa "beberapa berguna" sejauh mereka memberikan kerangka kerja sederhana untuk membuat prediksi yang berguna tentang realitas.

Sekarang, jika Anda membaca Box (1976) (makalah di mana ia pertama kali menyatakan bahwa "semua model salah"), Anda akan melihat bahwa ia tidak mengutip Friedman, juga tidak menyebutkan positivisme metodologis. Namun demikian, penjelasannya tentang metode ilmiah dan karakteristiknya sangat dekat dengan yang dikembangkan oleh Friedman. Secara khusus, kedua penulis menekankan bahwa teori ilmiah akan membuat prediksi tentang kenyataan yang dapat diuji terhadap fakta yang diamati, dan kesalahan dalam prediksi kemudian dapat digunakan sebagai dasar untuk revisi teori.

Sekarang, menuju dikotomi yang dibahas oleh Galit Shmueli dalam Shmueli (2001) . Dalam tulisan ini, Shmueli membandingkan penjelasan kausal dan prediksi hasil yang diamati dan berpendapat bahwa ini adalah kegiatan yang berbeda. Secara khusus, ia berpendapat bahwa hubungan sebab akibat didasarkan pada konstruk yang mendasarinya yang tidak bermanifestasi langsung dalam hasil yang terukur, sehingga "data yang terukur bukanlah representasi akurat dari konstruk yang mendasarinya" (hal. 293). Karena itu ia berpendapat bahwa ada aspek analisis statistik yang melibatkan membuat kesimpulan tentang hubungan kausal yang mendasari yang tidak dapat diamati yang tidak dimanifestasikan dalam perbedaan kontrafaktual yang dapat diukur dalam hasil.

Kecuali jika saya salah paham akan sesuatu, saya pikir itu adil untuk mengatakan bahwa gagasan ini bertentangan dengan pandangan positivis Box dan Friedman, sebagaimana diwakili dalam kutipan oleh Box. Sudut pandang positivis pada dasarnya mengatakan bahwa tidak ada "konstruksi" metafisik yang dapat diterima di luar hal-hal yang terwujud dalam hasil yang terukur. Positivisme membatasi diri pada pertimbangan data yang dapat diamati, dan konsep yang dibangun di atas data ini; itu tidak termasuk pertimbangan apriorikonsep metafisik. Dengan demikian, seorang positivis akan berpendapat bahwa konsep kausalitas hanya dapat valid sejauh ia didefinisikan dalam hal hasil yang terukur dalam kenyataan --- sejauh ia didefinisikan sebagai sesuatu yang berbeda dari ini (seperti Shmueli memperlakukannya), ini akan dianggap sebagai spekulasi metafisik, dan akan diperlakukan sebagai tidak dapat diterima dalam wacana ilmiah.

Jadi saya pikir Anda benar --- kedua pendekatan ini pada dasarnya bertentangan. Pendekatan positivis yang digunakan oleh Box menegaskan bahwa konsep ilmiah yang valid didasarkan sepenuhnya pada manifestasi mereka dalam kenyataan, sedangkan pendekatan alternatif yang digunakan oleh Shmueli mengatakan bahwa ada beberapa "konstruksi" yang merupakan konsep ilmiah penting (yang ingin kami jelaskan) tetapi tidak dapat diwakili dengan sempurna ketika mereka "dioperasionalkan" dengan menghubungkannya dengan hasil yang terukur dalam kenyataan.

Sebuah model, ketika digunakan untuk menjelaskan sesuatu, adalah penyederhanaan realitas. Penyederhanaan hanyalah kata lain untuk "salah dalam beberapa cara yang bermanfaat". Sebagai contoh, jika kita membulatkan angka 3,1415926535898 menjadi 3,14 kita membuat kesalahan, tetapi kesalahan ini memungkinkan kita manusia untuk fokus pada bagian terpenting dari angka itu. Ini adalah bagaimana model digunakan dalam menjelaskan, ia memberikan wawasan tentang beberapa masalah, tetapi karena keharusan harus abstrak jauh dari banyak hal lain: Kita manusia tidak begitu baik dalam melihat ribuan hal secara bersamaan. Jika kita benar-benar peduli untuk memprediksi kita ingin memasukkan ribuan hal itu kapan saja memungkinkan, tetapi dengan menjelaskan trade-off berbeda.

Contoh model yang sangat baik dalam prediksi tetapi tidak menjelaskan apa pun diberikan dalam artikel Wikipedia " Semua model salah ". Contohnya adalah model gravitasi Newton. Model Newton hampir selalu memberikan prediksi yang tidak dapat dibedakan dari pengamatan empiris. Namun model ini sangat tidak masuk akal: karena mendalilkan kekuatan yang dapat bertindak secara instan pada jarak yang besar secara sewenang-wenang.

Model Newton telah digantikan oleh model yang diberikan dalam teori relativitas umum Einstein. Dengan relativitas umum, gaya gravitasi bergerak melalui ruang dengan kecepatan terbatas (kecepatan cahaya).

Model Newton bukanlah penyederhanaan model general-relativistik. Untuk mengilustrasikannya, perhatikan sebuah apel jatuh dari pohon. Menurut relativitas umum, apel jatuh tanpa Bumi mengerahkan kekuatan apa pun pada apel. (Alasan utama apel jatuh adalah karena Bumi melengkungkan waktu, sehingga jam di dekat pangkal pohon berjalan lebih lambat daripada jam di atas pohon.) Jadi, seperti yang ditulis dalam artikel Wikipedia, model Newton sepenuhnya salah dari penjelasan. perspektif.

Makalah oleh Shmueli [2010] mengandaikan bahwa ada dua tujuan untuk model: prediksi dan penjelasan. Bahkan, beberapa penulis telah menyatakan bahwa ada tiga tujuan (lihat misalnya Konishi & Kitagawa [ Kriteria Informasi dan Pemodelan Statistik , 2008: §1.1] dan Friendly & Meyer [ Analisis Data Diskrit , 2016: §11.6]). Tiga tujuan sesuai dengan tiga jenis penalaran logis:

• prediksi (sesuai dengan deduksi);
• estimasi parameter (sesuai dengan induksi);
• deskripsi struktur (sesuai dengan penculikan).

Saya seorang sarjana dalam Statistik, jadi saya tidak akan menyebut diri saya seorang ahli, tetapi ini adalah dua sen saya.

Model tidak menjelaskan diri mereka sendiri; manusia menafsirkannya. Model linear lebih mudah dipahami daripada jaringan saraf dan hutan acak karena lebih dekat dengan cara kita mengambil keputusan. Memang, JST meniru otak manusia, tetapi Anda tidak memutuskan restoran mana yang akan pergi besok dengan melakukan serangkaian perkalian matriks. Sebaliknya, Anda menimbang beberapa faktor dalam pikiran Anda dengan kepentingannya, yang pada dasarnya adalah kombinasi linear.

"Kekuatan penjelasan" mengukur seberapa baik suatu model cocok dengan intuisi manusia, sedangkan "kekuatan prediktif" mengukur seberapa baik model tersebut sejalan dengan mekanisme yang mendasari proses yang menjadi perhatian. Kontradiksi di antara mereka pada dasarnya adalah kesenjangan antara apa dunia ini dan bagaimana kita bisa merasakan / memahaminya. Saya harap ini menjelaskan mengapa "beberapa model melakukan pekerjaan dengan baik dalam menjelaskan, meskipun mereka melakukan pekerjaan yang buruk dalam memprediksi".

Ian Stewart pernah berkata, "Jika otak kita cukup sederhana untuk kita memahaminya, kita akan sangat sederhana sehingga kita tidak bisa." Sayangnya, otak manusia kecil kita sebenarnya sangat sederhana dibandingkan dengan alam semesta, atau bahkan pasar saham (yang melibatkan banyak otak :). Hingga kini, semua model adalah produk otak manusia, sehingga pasti lebih atau kurang akurat, yang mengarah ke Box "Semua model salah". Di sisi lain, model tidak harus benar secara teknis untuk berguna. Sebagai contoh, hukum gerak Newton telah dibantah oleh Einstein, tetapi tetap bermanfaat ketika sebuah objek tidak terlalu besar atau cepat.

Untuk menjawab pertanyaan Anda, saya jujur ​​tidak bisa melihat ketidakcocokan antara poin Box dan Shmueli. Tampaknya Anda menganggap "kekuatan penjelas" dan "kekuatan prediktif" sebagai sifat binomial, tapi saya pikir mereka duduk di dua ujung spektrum.