Mencari Pemahaman Teoritis tentang Regresi Logistik Firth

Saya mencoba memahami regresi logistik Firth (metode penanganan pemisahan logistik sempurna / lengkap atau kuasi-lengkap) sehingga saya dapat menjelaskannya kepada orang lain dalam istilah yang disederhanakan. Adakah yang punya penjelasan bodoh tentang modifikasi estimasi Firth yang dibuat untuk MLE?

Saya telah membaca, semampu saya, Firth (1993) dan saya mengerti koreksi sedang diterapkan pada fungsi skor. Saya tidak jelas tentang asal dan justifikasi koreksi dan peran apa yang dimainkan fungsi skor di MLE.

Maaf jika ini adalah pengetahuan yang belum sempurna. Literatur yang telah saya ulas tampaknya membutuhkan pemahaman yang jauh lebih dalam tentang MLE daripada yang saya miliki.

logistic maximum-likelihood separation

— ESmith5988
sumber

Koreksi Firth sama dengan menentukan sebelum dan mencari mode distribusi posterior Jeffrey. Secara kasar, ini menambahkan setengah dari pengamatan pada kumpulan data dengan asumsi bahwa nilai sebenarnya dari parameter regresi sama dengan nol.

$\hat \theta_n \approx \theta_0$ $\theta_0$ $\theta_n = \theta_0 + O(n^{-1/2}) = \theta_0 + v_1 n^{-1/2} + o(n^{-1/2})$ $v_1$ $\sigma_1^2$ $n(\hat\theta_n - \theta_0)^2/\sigma_1^2 \sim \chi^2_1$

$o(n^{-1/2})$ $O(n^{-1})$ $1/n$ $\frac12 \ln \det I(\theta)$ $1/n$

— Tugas
sumber

Maaf atas kurangnya pengertian saya, tetapi saya tidak sepenuhnya mengikuti. Ketika Anda mengatakan "Secara kasar, itu menambahkan setengah dari pengamatan pada kumpulan data dengan asumsi bahwa nilai sebenarnya dari parameter regresi sama dengan nol." Mengapa Anda mengasumsikan nilai sebenarnya dari parameter regresi sama dengan nol? Juga, bagaimana cara menambahkan setengah observasi ke dataset?

— ESmith5988

Dari sisa penjelasan Anda, tampaknya fungsi kemungkinan sedang disesuaikan dengan kuantitas tetap yang mengurangi bias positif sampel kecil. Kuantitas tetap secara efektif merupakan fungsi dari informasi yang menjadi nol ketika ukuran sampel meningkat, benar?

— ESmith5988

Pada komentar pertama Anda - Koreksi awal kira-kira adalah nilai yang diharapkan dari kontribusi terhadap kemungkinan yang akan ditambahkan oleh pengamatan yang akan memiliki bobot efektif 1/2. Ini sama sekali bukan penjelasan yang benar, apalagi intuisi tentang mengapa Anda ingin melakukan ini; itu hanya memberi Anda rasa. Anda menetapkan koefisien ke nol karena Anda tidak memiliki gagasan yang lebih baik tentang angka-angka yang akan terjadi (dan nol koefisien sesuai dengan baik untuk tidak ada efek dari regresi, yang sebagian besar bermakna waktu). Pada komentar kedua Anda - benar.

— Tugas