Pemilihan fitur pada model linear umum hirarkis Bayesian

Saya ingin memperkirakan GLM hirarkis tetapi dengan pemilihan fitur untuk menentukan kovariat mana yang relevan pada tingkat populasi untuk dimasukkan.

Misalkan saya punya $G$grup dengan pengamatan dan kemungkinan kovariat Yaitu, saya memiliki matriks desain kovariat , hasil . Koefisien pada kovariat ini adalah .$N$$K$$\boldsymbol{x}_{(N\cdot G) \times K}$$\boldsymbol{y}_{(N\cdot G) \times 1}$$\beta_{K \times 1}$

Misalkan ~$Y$$Bernoulli(p(x,\beta))$

Di bawah ini adalah GLM bayesian hirarki standar dengan model pengambilan sampel logit dan koefisien grup yang didistribusikan secara normal.

$${\cal L}\left(\boldsymbol{y}|\boldsymbol{x},\beta_{1},...\beta_{G}\right)\propto\prod_{g=1}^{G}\prod_{t=1}^{N}\left(\Pr\{j=1|p_{t},\beta^{g}\}\right)^{y_{g,t}}\left(1-\Pr\{j=1|p_{t},\beta^{g}\}\right)^{1-y_{g,t}}$$

$$\beta_{1},...\beta_{G}|\mu,\Sigma\sim^{iid}{\cal N}_{d}\left(\mu,\Sigma\right)$$

$$\mu|\Sigma\sim{\cal N}\left(\mu_{0},a^{-1}\Sigma\right)$$ $$\Sigma\sim{\cal IW}\left(v_{0},V_{0}^{-1}\right)$$

Saya ingin memodifikasi model ini (atau menemukan kertas yang sesuai, atau pekerjaan yang membahasnya) sedemikian rupa sehingga ada beberapa pilihan fitur yang tajam (seperti dalam LASSO) pada dimensi $\beta$ .

(1) Cara paling langsung yang paling sederhana adalah dengan mengatur ini pada tingkat populasi sehingga kita pada dasarnya membatasi dimensi dan semua memiliki dimensi yang sama.$\mu$$\beta$

(2) Model yang lebih bernuansa akan memiliki penyusutan di tingkat kelompok, di mana dimensi tergantung pada unit hirarkis.$\beta$

Saya tertarik untuk menyelesaikan 1 dan 2, tetapi yang jauh lebih penting adalah 1.

Cara saya menangani (1) akan melibatkan model spike dan slab seperti:

$\beta_{g,k} = z_{k}m_{g,k}$

$z_k \sim Bern(p)$

$m_{g,k} \sim N(\mu, \Sigma)$

$\mu, \Sigma \sim NIW_{v_0}(\mu_0, V_0^{-1})$

Ini:

• Mempertahankan fleksibilitas pada dari NIW sebelum .$\beta$$\mu, \Sigma$
• Model pemilihan variabel untuk semua kelompok sekaligus.
• Mudah diperluas dengan menambahkan sub-indeks untuk grup ke dan memiliki beta umum sebelum untuk setiap lokasi .$z_{g,k}$$k$

Tentu saja, saya pikir ini adalah jenis masalah di mana ada sejumlah pendekatan yang valid.

Pemilihan fitur bukanlah tujuan yang bagus untuk dianalisis. Kecuali jika semua prediktor tidak berkorelasi satu sama lain dan ukuran sampel Anda sangat besar, data tidak akan dapat dengan andal memberi tahu Anda jawabannya. Spesifikasi model lebih penting daripada pemilihan model. Detail ada di Catatan Kursus RMS saya . Tapi penyusutan, tanpa pemilihan fitur (misalnya, ridge atau perkiraan kemungkinan maksimum yang dihukum) bisa menjadi ide yang bagus. Model Bayesian hierarkis bahkan lebih baik karena mereka memungkinkan untuk inferensi statistik dalam model menyusut sedangkan kita kehilangan sebagian besar alat inferensial di dunia yang sering terjadi setelah menyusut.$L_{2}$