Komputasi bobot probabilitas terbalik - estimasi kepadatan bersyarat (multivarian)?

Versi umum:

Saya perlu memperkirakan $f(A | X)$ dimana $A$ dan $X$ kontinu dan multivarian. Saya lebih suka melakukannya secara nonparametrik karena saya tidak memiliki bentuk fungsional yang baik dalam pikiran dan $\hat{f}(A | X)$ perlu sesuatu seperti tidak bias. Saya ingin menggunakan penduga kepadatan kernel bersyarat, tetapi saya sadar saya perlu mengukur $X$ pertama. Lalu saya punya ide untuk memperkirakan $\hat{f}(A , X)$ dan $\hat{f}(X)$ dari data dan menggunakannya untuk menghitung $\hat{f}(A | X)$ , atau mungkin saya membacanya di suatu tempat dan tidak ingat di mana.

Apakah ada alasan mengapa prosedur ini tidak valid? Apakah ada pendekatan yang lebih baik atau lebih jujur daripada kepadatan kernel? Juga, apakah ada masalah dengan estimasi kepadatan populasi dari kepadatan sampel secara nonparametrik? Data ini adalah data survei, dan saya memiliki bobot survei; haruskah saya memasukkan mereka entah bagaimana?

Versi spesifik kasus:

Mungkin perlu disebutkan bahwa saya akan menggunakan estimasi ini untuk bobot probabilitas pengobatan yang terbalik dalam model struktural marjinal, seperti dalam Robins (2000) ( ungated PDF ). Saya mengamati serangkaian "perawatan" $\{a_t\}_{t=0}^{4}$ dan urutan pembaur waktu yang bervariasi $\{x_t\}_{t=0}^{4}$ sehubungan dengan beberapa hasil $\tilde{y}$ yang terjadi pada $t=T+1$ . Saya telah berhipotesis hubungan kausal parametrik sederhana, $E[\tilde{Y} | \vec{a}]=\beta'\vec{a}$ , tapi karena ada perancu yang bervariasi waktu $\beta$ adalah perkiraan bias dari "efek pengobatan rata-rata," dan perancu tidak dapat ditambahkan sebagai regressor karena berada di jalur sebab akibat dan itu juga akan bias $\beta$ . Untungnya Doc Robins menemukan bahwa saya bisa mendapatkan perkiraan yang tidak memihak / tidak berdasar dan cukup efisien jika saya menimbang kembali pengamatan saya dengan:

w_{i} = \prod_{s = 0}^{4} \frac{f (a_{s} | a_{s < t})}{f (a_{s} | a_{s < t}, x_{s < t})}

$w_i = \prod_{s=0}^{4} \frac{ f(a_s | a_{s<t}) }{ f(a_s | a_{s<t},x_{s<t}) }$

Pertanyaan saya: Urutan bobot itu sebenarnya yang saya butuhkan untuk estimasi. Robins merekomendasikan regresi logistik. Tapi $a_t$ terletak di $[0,\infty)^7$ , diukur pada $\{0,\dots\}^{7}$ , dan untuk semua tujuan praktis terletak pada subset yang terbatas. $x_t$ terletak pada interval tertutup, tetapi hanya karena itu benar-benar rata-rata dari beberapa variabel, masing-masing diukur pada subset terbatas $\{0,\dots,12\}$ .

Jadi saya punya beberapa ide:

Memperkirakan $f(a_t, a_{s<t}, x_{s<t})$ dan $f(x,a_{s<t})$ nonparametrik
Memperkirakan $f(a_t | a_{s<t}, x_{s<t})$ dengan regresi beta dan $f( x_{s<t}, a_{s<t})$ nonparametrik
Memperkirakan $f(x_{t-1}|a_t,a_{s<t},x_{s<(t-1)})$ dengan regresi beta, dan estimasi $f(a_t, a_{s<t},x_{s<(t-1)})$ ) dengan "chaining" regresi beta kembali melalui waktu untuk mengekspresikan semuanya sebagai persyaratan.
Sesuatu yang benar-benar koheren dan jujur dalam menyebarkan ketidakpastian, yang jelas saya belum pikirkan.
Bayes? Saya tahu Stan dan JAGS, tetapi MCMC mungkin akan meledak komputer saya (saya tidak ingin berurusan dengan EC2).

Saya belum menemukan petunjuk dalam literatur, karena perawatan multivariat jarang terjadi dalam pemodelan kausal. Apa yang harus saya lakukan?

Poin bonus: bagaimana perasaan Anda tentang notasi $a_{s<t}$ untuk mewakili $\{a_s\}_{s=0}^{t}$ bukannya sesuatu seperti $\vec{a}_{t-1}$ ?

— shadowtalker
sumber

Ide dasarnya

Per Chen, Linton, dan Robinson (2001) , teknik "default" untuk estimasi kepadatan kernel univariat adalah mencari, untuk bandwidth $a,b,c$ ,

\frac{{\hat{f}}_{a b} (y, z)}{{\hat{f}}_{c} (z)} = {\hat{f}}_{a b c} (y | z)

$\frac{\hat{f}_{ab}(y,z)}{\hat{f}_c(z)}=\hat{f}_{abc}(y|z)$

Kemudian, dengan bandwidth pembilang $(a,b)$ dan bandwidth penyebut $c$ dan $a=b=c$ , hasil batas pusat berikut berpegang pada asumsi independensi dan konsistensi tertentu (yang hanya benar-benar membatasi kapan $y=x_t,z=x_{t-1}$ ):

\sqrt{n a^{2}} ({\hat{f}}_{a b c = a a a} (y | z) - f (y | z)) \overset{d}{\to} N (0, V)

$\sqrt{na^2}\left(\hat{f}_{abc=aaa}(y|z)-f(y|z)\right)\xrightarrow{d}N(0,V)$

dimana

\begin{aligned} \hat{V} & = {(\int K (u)^{2} d u)}^{2} \cdot \frac{{\hat{f}}_{a a a} (y | z)}{{\hat{f}}_{a} (z)} \\ = {(\int K (u)^{2} d u)}^{2} \cdot {\hat{f}}_{a a} (y, z) \end{aligned}

$\begin{align} \hat{V}&=\left(\int K(u)^2du\right)^2\cdot\frac{\hat{f}_{aaa}(y|z)}{\hat{f}_a(z)}\\&=\left(\int K(u)^2du\right)^2\cdot\hat{f}_{aa }(y,z) \end{align}$

Meskipun saya belum pernah melihat model tertimbang yang sering (bahkan intro-stats WLS) berusaha menghitung variasi dari bobot yang diperkirakan. Untuk saat ini saya akan mengikuti konvensi itu tetapi jika saya mendapatkan hasil di sini saya akan melihat apakah saya dapat mengubahnya menjadi model Bayesian yang sepenuhnya yang akan menyebarkan ketidakpastian dengan lebih jujur. Jadi ya, memperkirakan kepadatan bersyarat dengan memperkirakan kepadatan bersama dan marginal adalah prosedur standar.

Berlaku untuk kasus saya

Tidak secara eksplisit jelas dari makalah itu adalah bagaimana ini digeneralisasikan ke kasus kapan ketika $y=x_t$ dan $z=\left(x_s\right)_{s=1}^{t-1}$ , dan $x_s=\left(\begin{smallmatrix} x_{s,1}\\ \ddots \\x_{s,D} \end{smallmatrix}\right)$ . Tapi saya kira ini benar-benar sama dengan satu urutan panjang yang besar $x=\left(\left(x_{s,d}\right)_{d=1}^{D}\right)_{s=1}^{t-1}$ yang tampaknya dikelola dengan sempurna menurut Robinson (1983) (dikutip dalam Chen, et al). Sekali lagi, menggunakan aturan Bayes untuk memperkirakan kepadatan bersyarat tampaknya dapat diterima.

Bandwidth

Masalah terakhir adalah pemilihan bandwidth. Bandwidth sekarang menjadi matriks blok formulir

B = (\begin{matrix} B^{n u m e r a t o r} & 0 \\ 0 & B^{d e n o m i n a t o r} \end{matrix}) = (\begin{matrix} (\begin{matrix} a_{1, 1} & B_{1}^{n u m} \\ ⋱ \\ B_{2}^{n u m} & a_{t, D} \end{matrix}) & 0 \\ 0 & (\begin{matrix} c_{1, 1} & B_{1}^{d e n o m} \\ ⋱ \\ B_{2}^{d e n o m} & c_{t - 1, D} \end{matrix}) \end{matrix})

$B=\left(\begin{matrix} B^{numerator}&0\\0&B^{denominator} \end{matrix}\right)=\left(\begin{matrix} \left(\begin{matrix}a_{1,1}&&B^{num}_1\\&\ddots&\\B^{num}_2&&a_{t,D}\end{matrix}\right)&0\\0&\left(\begin{matrix}c_{1,1}&&B^{denom}_1\\&\ddots&\\B^{denom}_2&&c_{t-1,D}\end{matrix}\right) \end{matrix}\right)$

yang berantakan. Saat bandwidth $H=hH_0$ seperti yang $|H_0|=1$ , kemudian $b^*\sim\sqrt[4+D]{N}$ , tetapi hasil ini akan berlaku secara terpisah untuk $B^{num}$ dan $B^{denom}$ bukannya ke $B$ secara keseluruhan ( sumber , catatan kuliah seseorang).

Chen et al menemukan bandwidth yang optimal $a=b=c$ (dalam kasus 2-d) untuk tingkat tertentu $z$ yang sepertinya digeneralisasi ke kasus kapan $y$ dan $z$ bersifat multivariat. Mereka menyarankan pengaturan $z=\mu$ dimana $\mu$ adalah rata-rata teoritis yang akan diinduksi di bawah normalitas sendi, dan mereka diturunkan $\hat{a}(\mu)$ .

Versi yang lebih umum dari hasil yang sama ada di bagian lain dari catatan kuliah tersebut, yang disebut bandwidth "rule-of-thumb". Mereka juga memperoleh bandwidth optimal sebagai fungsi dari prosedur validasi silang umum.

Komputasi

Saya memiliki perawatan 7 dimensi selama 3 periode waktu, jadi saya harus memperkirakan kepadatan 21 dimensi. Dan saya lupa tentang kovariat awal. Saya memiliki sekitar 30 kovariat awal, jadi saya akhirnya mencoba memperkirakan distribusi 51 dimensi, distribusi 44 dimensi, dan distribusi 37 dimensi. Dan itu belum lagi bahwa dimensi ekstrim akan membutuhkan sampel yang sangat besar. Scott & Wand (1991) melaporkan bahwa ukuran sampel 50 dalam satu dimensi setara dengan lebih dari 1 juta dalam 8 dimensi ... tidak disebutkan 30. Tidak ada jumlah ini yang dapat mengungkapkan apa yang saya rasakan saat ini.

Kesimpulan

Jadi saya hanya menghabiskan satu minggu dari hidup saya untuk ini. Baiklah. Sebagai gantinya, saya akan menggunakan MCMC agar sesuai dengan model parametrik pengobatan dan hasil secara bersamaan, sehingga bobot IPT akhirnya menjadi fungsi kepadatan prediksi posterior dari model pengobatan. Kemudian saya akan melangkah melalui bentuk linier, kuadratik, dan kubik untuk model perawatan dan melihat mana yang paling cocok.

— shadowtalker
sumber

"Jadi, aku hanya menghabiskan satu minggu hidupku untuk ini." Itu disebut pembelajaran dan penelitian. Menjadi mahasiswa master Anda harus merangkul itu karena ada lebih banyak seperti ini datang. Biasanya tidak ada jalan pintas dalam penelitian karena seringkali tidak ada yang tahu jalannya!

— Momo