Pemilihan model dengan regresi logistik Firth

Dalam set data kecil ( ) yang saya kerjakan, beberapa variabel memberi saya prediksi / pemisahan yang sempurna . Jadi saya menggunakan regresi logistik Firth untuk menangani masalah ini. $n\sim100$

Jika saya memilih model terbaik oleh AIC atau BIC , haruskah saya memasukkan istilah hukuman Firth dalam kemungkinan ketika menghitung kriteria informasi ini?

— Tugas
sumber

Maukah Anda menjelaskan mengapa itu tidak dapat dihindari, karena pemilihan variabel tidak membantu dengan masalah "terlalu banyak variabel, terlalu sedikit ukuran sampel"?

— Frank Harrell

Itu seburuk yang didapat.

— Frank Harrell

Sudahkah Anda mempertimbangkan untuk memperlakukan masalah inferensi Bayesian ini? Regresi logistik firth setara dengan MAP dengan jeffrey sebelumnya. Anda bisa menggunakan pendekatan sepenuhnya laplace untuk mengevaluasi kemungkinan marginal - yang seperti BIC yang disesuaikan (mirip dengan AICc)

— probabilityislogic

@ pengguna, Karena variabel seperti itu biasanya memprediksi hanya segelintir kasus, dan itu tidak dapat direproduksi: probabilitas sebenarnya untuk sel itu mungkin mendekati 90% katakan tetapi dengan hanya dua kasus di dalamnya, Anda akan mendapatkan dua yang 81% dari waktu. .

— Tugas

Tautan untuk mengunduh makalah K&K (1996) yang ditemukan di Google Cendekia, bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf

— Alecos Papadopoulos

$n \to \infty$

{hal}_{y} (y) = \int L. (θ; y) π (θ) d θ

$p_y(y) = \int L(\theta; y)\pi(\theta)\mathrm{d} \theta$

\hat{θ}

$\hat{\theta}$

Sebagai komentar sampingan, regresi Firth juga menghilangkan bias orde pertama dalam keluarga eksponensial.

— lbelzile
sumber