Inferensi statistik di bawah salah spesifikasi model

Saya punya pertanyaan metodologis umum. Mungkin sudah dijawab sebelumnya, tetapi saya tidak dapat menemukan utas yang relevan. Saya akan menghargai petunjuk untuk kemungkinan duplikat.

( Ini yang sangat bagus, tetapi tanpa jawaban. Ini juga memiliki semangat yang sama, bahkan dengan jawaban, tetapi yang terakhir terlalu spesifik dari sudut pandang saya. Ini juga dekat, ditemukan setelah memposting pertanyaan.)

Temanya adalah, bagaimana melakukan inferensi statistik yang valid ketika model dirumuskan sebelum melihat data gagal menggambarkan proses pembuatan data secara memadai . Pertanyaannya sangat umum, tetapi saya akan menawarkan contoh khusus untuk menggambarkan hal tersebut. Namun, saya mengharapkan jawaban untuk fokus pada pertanyaan metodologis umum daripada memilih rincian dari contoh tertentu.

Pertimbangkan contoh konkret: dalam pengaturan rangkaian waktu, saya menganggap proses pembuatan data menjadi dengan . Saya bertujuan untuk menguji hipotesis pokok bahasan bahwa . Saya menggunakan ini dalam bentuk model untuk mendapatkan mitra statistik yang bisa diterapkan dari hipotesis materi pelajaran saya, dan ini adalah Sejauh ini bagus. Tetapi ketika saya mengamati data, saya menemukan bahwa model tidak cukup menggambarkan data. Katakanlah, ada tren linier, sehingga proses pembuatan data sebenarnya adalah dengan

\begin{matrix} (1) & y_{t} = β_{0} + β_{1} x_{t} + u_{t} \end{matrix}

$y_t=\beta_0 + \beta_1 x_t+u_t \tag{1}$

u_{t} \sim i . i . N (0, σ_{u}^{2})

$u_t \sim i.i.N(0,\sigma_u^2)$

\frac{d y}{d x} = 1

$\frac{dy}{dx}=1$

(1)

$(1)$

H_{0} : β_{1} = 1.

$H_0\colon \ \beta_1=1.$

\begin{matrix} (2) & y_{t} = γ_{0} + γ_{1} x_{t} + γ_{2} t + v_{t} \end{matrix}

$y_t=\gamma_0 + \gamma_1 x_t+\gamma_2 t + v_t \tag{2}$

v_{t} \sim i . i . N (0, σ_{v}^{2})

$v_t \sim i.i.N(0,\sigma_v^2)$ .

Bagaimana saya bisa melakukan inferensi statistik yang valid pada hipotesis subjek-materi saya ? $\frac{dy}{dx}=1$

Jika saya menggunakan model asli, asumsinya dilanggar dan penaksir tidak memiliki distribusi yang bagus seperti yang seharusnya. Oleh karena itu, saya tidak dapat menguji hipotesis dengan menggunakan uji- . $\beta_1$ $t$
Jika, setelah melihat data, saya beralih dari model ke dan mengubah hipotesis statistik saya dari menjadi , asumsi model puas dan saya dapatkan estimator yang berperilaku baik dari dan dapat menguji tanpa kesulitan menggunakan uji- . Namun, beralih dari ke $(1)$ $(2)$ $H_0\colon \ \beta_1=1$ $H'_0\colon \ \gamma_1=1$ $\gamma_1$ $H'_0$ $t$
$(1)$ $(2)$ diinformasikan oleh set data yang ingin saya uji hipotesis. Hal ini membuat distribusi estimator (dan juga inferensi) bergantung pada perubahan model yang mendasarinya, yang disebabkan oleh data yang diamati. Jelas, pengenalan pengkondisian semacam itu tidak memuaskan.

Apakah ada jalan keluar yang bagus? (Jika tidak sering, maka mungkin beberapa alternatif Bayesian?)

modeling inference misspecification

— Richard Hardy
sumber

Ketidaknyamanan Anda adalah endemik terhadap pendekatan klasik untuk memberikan gelar PhD: spesifikasi hipotesis yang cermat, diikuti oleh tes empiris dan diakhiri dengan inferensial kausal deskriptif. Di dunia ini, jawaban singkatnya adalah, "tidak," tidak ada jalan keluar. Namun, dunia berevolusi dari paradigma ketat itu. Misalnya, dalam sebuah makalah di AER tahun lalu berjudul Masalah Kebijakan Prediksi oleh Kleinberg, dkk, mereka menjadikan kasus untuk penambangan data dan prediksi sebagai alat yang berguna dalam pembuatan kebijakan ekonomi, dengan mengutip contoh-contoh di mana "kesimpulan sebab-akibat bukanlah pusat, atau bahkan perlu." Layak dilihat.

— Mike Hunter

Dalam pandangan saya, jawaban langsung adalah tidak ada jalan keluar. Kalau tidak, Anda akan bersalah atas jenis penambangan data terburuk - menyusun kembali hipotesis agar sesuai dengan data - pelanggaran modal dalam dunia paradigmatik yang ketat.

— Mike Hunter

Jika saya mengerti dengan benar, Anda mengumpulkan data, lalu memilih model dan kemudian menguji hipotesis. Saya mungkin salah, tetapi bagi saya tampaknya paradigma inferensi selektif yang diselidiki oleh Taylor dan Tibshirani (antara lain) dapat dikaitkan dengan masalah Anda. Kalau tidak, komentar, jawaban, dan jawaban terkait untuk pertanyaan ini mungkin menarik.

— DeltaIV

@DeltaIV, yaitu, ketika melakukan inferensi, saya tidak tertarik pada parameter yang salah setidaknya seperti di bawah konsistensi-P, tetapi saya tertarik pada yang benar (turunan parsial sebenarnya dari wrt ).

y

$y$

x

$x$

— Richard Hardy

@RichardHardy, tentu saja, meski sudah menjadi mahasiswa tingkat statistik, saya tidak terlalu percaya pada kesimpulan. Ini adalah rumah kartu yang sangat rapuh sehingga tidak jelas apakah itu bermakna sama sekali kecuali dalam keadaan yang sangat ketat dan terkendali. Yang lucu adalah bahwa semua orang tahu ini, tetapi tidak ada yang peduli.

— hejseb

Jawaban:

Jalan keluarnya benar-benar keluar dari tes sampel, yang benar. Bukan di mana Anda membagi sampel menjadi pelatihan dan bertahan seperti dalam crossvalidation, tetapi prediksi yang sebenarnya. Ini bekerja sangat baik dalam ilmu alam. Sebenarnya itu satu-satunya cara kerjanya. Anda membangun teori pada beberapa data, maka Anda diharapkan untuk datang dengan prediksi sesuatu yang belum diamati. Jelas, ini tidak bekerja di sebagian besar ilmu sosial (disebut) seperti ekonomi.

Dalam industri ini bekerja seperti dalam sains. Misalnya, jika algoritma perdagangan tidak berfungsi, Anda akan kehilangan uang, pada akhirnya, dan kemudian Anda meninggalkannya. Validasi silang dan set data pelatihan digunakan secara luas dalam pengembangan dan membuat keputusan untuk menggunakan algoritme, tetapi setelah diproduksi, ini semua tentang menghasilkan uang atau kehilangan. Sangat sederhana dari uji sampel.

— Aksakal
sumber

Apakah itu membantu memperkirakan ?

\frac{\partial y}{\partial x}

$\frac{\partial y}{\partial x}$

— Richard Hardy

@ RichardHardy, ya, Anda menguji hipotesis yang sama pada data baru. Jika itu berlaku maka Anda baik. Jika model Anda tidak ditentukan secara pasti maka akhirnya akan gagal, maksud saya diagnostik lain juga. Anda harus melihat bahwa model tidak berfungsi dengan data baru.

— Aksakal

OK, maka itu terdengar seperti resep lama yang baik untuk membagi sampel menjadi subsampel untuk pembangunan model dan yang lainnya untuk pengujian hipotesis. Saya seharusnya sudah memasukkan pertimbangan itu di OP. Bagaimanapun, itu tampak seperti strategi yang sehat. Masalah dengan makroekonomi, misalnya, adalah bahwa model yang sama hampir tidak akan pernah cocok dengan data yang tidak terlihat dengan baik (karena proses pembuatan data berubah dari waktu ke waktu), sehingga masalah yang sama persis yang kita mulai akan bertahan. Tapi itu adalah contoh di mana pada dasarnya metode apa pun gagal, jadi itu bukan kritik yang adil.

— Richard Hardy

Sementara itu, dalam ekonomi mikro dalam pengaturan data cross-sectional itu bisa bekerja. +1 untuk saat ini. Di sisi lain, begitu model telah sesuai dengan semua data yang tersedia, solusi ini tidak akan berfungsi. Saya kira itulah yang saya pikirkan ketika saya menulis pertanyaan, dan saya mencari jawaban yang menjawab pertanyaan judul: kesimpulan dari model yang tidak ditentukan.

— Richard Hardy

Saya bersimpati dengan pandangan Anda. Tetapi karena pemisahan sampel menjadi "lama" dan "baru" sama dengan mengumpulkan data baru, saya tidak mengerti di mana Anda melihat perbedaan besar antara keduanya.

— Richard Hardy

Anda dapat mendefinisikan "prosedur gabungan" dan menyelidiki karakteristiknya. Katakanlah Anda mulai dari model sederhana dan memungkinkan satu, dua atau tiga model yang lebih kompleks (atau nonparametrik) dipasang jika model sederhana tidak cocok. Anda perlu menentukan aturan formal yang menurutnya Anda memutuskan untuk tidak cocok dengan model sederhana tetapi salah satu yang lain (dan yang mana). Anda juga perlu memiliki tes untuk hipotesis Anda yang menarik untuk diterapkan di bawah semua model yang terlibat (parametrik atau nonparametrik).

Dengan pengaturan seperti itu Anda dapat mensimulasikan karakteristik, yaitu, dengan berapa persen hipotesis nol Anda akhirnya ditolak jika itu benar, dan dalam kasus beberapa penyimpangan bunga. Anda juga dapat mensimulasikan dari semua model yang terlibat, dan melihat hal-hal seperti level kondisional dan kekuatan kondisional mengingat bahwa data berasal dari model X, Y, atau Z, atau mengingat bahwa prosedur pengujian kesalahan spesifikasi model memilih model X, Y, atau Z.

Anda mungkin menemukan bahwa pemilihan model tidak banyak merugikan dalam arti bahwa level yang dicapai masih sangat dekat dengan level yang Anda kejar, dan kekuatannya OK jika tidak sempurna. Atau Anda mungkin menemukan bahwa pemilihan model yang bergantung pada data benar-benar mengacaukan segalanya; itu akan tergantung pada detailnya (jika prosedur pemilihan model Anda sangat andal, kemungkinannya level dan daya tidak akan terpengaruh dengan kuat).

Sekarang ini tidak cukup sama dengan menentukan satu model dan kemudian melihat data dan memutuskan "oh, saya perlu yang lain", tetapi mungkin sedekat yang Anda bisa selidiki apa yang akan menjadi karakteristik dari pendekatan semacam itu. Ini bukan hal sepele karena Anda perlu membuat sejumlah pilihan untuk mewujudkannya.

Komentar umum: Saya pikir menyesatkan untuk menggolongkan metodologi statistik terapan dengan binarily menjadi "valid" dan "tidak valid". Tidak ada yang 100% valid karena asumsi model tidak pernah berlaku dalam praktiknya. Di sisi lain, walaupun Anda mungkin menemukan alasan yang valid (!) Untuk menyebut sesuatu "tidak valid", jika seseorang menyelidiki karakteristik pendekatan yang seharusnya tidak valid secara mendalam, orang mungkin mengetahui bahwa itu masih berfungsi dengan cukup baik.

— Lewian
sumber

Saya bertanya-tanya apakah ini realistis dalam praktik selain dari masalah yang paling sederhana. Biaya simulasi komputasi akan dengan cepat melebihi kemampuan kami di sebagian besar kasus, bukan begitu? Komentar Anda tentang validitas tentu saja logis. Namun, tanpa gagasan yang sederhana namun bermanfaat ini (dalam membantu penalaran kita) kita akan lebih tersesat daripada kita - itu adalah perspektif saya.

— Richard Hardy

Saya tidak mengatakan bahwa ini harus dilakukan setiap kali situasi seperti ini terpenuhi dalam praktik. Ini lebih merupakan proyek penelitian; Namun satu pesan yang hilang adalah bahwa menurut pendapat saya, untuk alasan yang diberikan, pemilihan model tergantung data tidak benar-benar membatalkan inferensi yang seharusnya valid. Prosedur gabungan semacam itu dapat bekerja dengan baik dalam banyak situasi, meskipun saat ini tidak diselidiki dengan baik.

— Lewian

Saya kira jika ini layak, itu sudah akan digunakan. Masalah utama mungkin infeasibility karena banyaknya pilihan pemodelan yang bergantung pada data (kembali ke komentar pertama saya). Atau apakah Anda tidak melihat masalah di sana?

— Richard Hardy

Ada simulasi aneh dalam literatur yang mengeksplorasi uji spesifikasi salah / pemilihan model pertama dan kemudian inferensi parametrik tergantung pada hasil itu. Hasil dicampur sejauh yang saya tahu. Contoh "klasik" ada di sini: tandfonline.com/doi/abs/10.1080/…

— Lewian

Tapi kamu benar; memodelkan proses penuh dengan semua jenis opsi pemodelan yang mungkin akan membutuhkan banyak pilihan. Saya masih berpikir itu akan menjadi proyek yang berharga, meskipun bukan sesuatu yang bisa diminta setiap kali model dipilih dari data yang sama yang mereka pas. Aris Spanos dengan cara menentang gagasan bahwa pengujian spesifikasi yang salah atau pemeriksaan model pada data membuat inferensi tidak valid. onlinelibrary.wiley.com/doi/abs/10.1111/joes.12200

— Lewian