Kapan regresi logistik diselesaikan dalam bentuk tertutup?

Ambil dan dan anggaplah kita memodelkan tugas memprediksi y yang diberikan x menggunakan regresi logistik. Kapan koefisien regresi logistik dapat ditulis dalam bentuk tertutup? $x \in \{0,1\}^d$ $y \in \{0,1\}$

Salah satu contoh adalah ketika kita menggunakan model jenuh.

Yaitu, tentukan , di mana mengindeks set dalam set daya , dan mengembalikan 1 jika semua variabel di $P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$ $i$ $\{x_1,\ldots,x_d\}$ $f_i$ $i$ 'set th adalah 1, dan 0 sebaliknya. Kemudian Anda dapat mengekspresikan setiap $w_i$ dalam model regresi logistik ini sebagai logaritma dari fungsi rasional statistik dari data.

Apakah ada contoh menarik lainnya ketika formulir tertutup ada?

logistic generalized-linear-model

— Yaroslav Bulatov
sumber

Saya berasumsi maksud Anda "kapan MLEs parameter dalam bentuk tertutup?"

— Glen_b -Reinstate Monica

Bisakah Anda memberi lebih banyak detail apa yang Anda lakukan? Pertanyaan Anda berbunyi seolah-olah Anda mencoba menurunkan estimator kuadrat terkecil biasa untuk masalah regresi logistik?

— Momo

Terima kasih atas posting / pertanyaan yang menarik, Yaroslav. Apakah Anda memiliki referensi untuk contoh yang Anda perlihatkan?

— Bitwise

Sudah lama, tapi mungkin itu ada di buku "Model Grafis" Lauritzen. Fondasi yang lebih luas dari jawaban untuk pertanyaan ini ada - Anda mendapatkan solusi bentuk tertutup ketika grafik (hiper) yang dibentuk oleh statistik yang cukup adalah chordal

— Yaroslav Bulatov

Ini mungkin menarik tandfonline.com/doi/abs/10.1080/... Saya percaya ini adalah kasus khusus dari solusi analitis ketika Anda hanya memiliki tabel 2x2

— Austin

Jawaban:

Seperti yang ditunjukkan oleh kjetil b halvorsen, itu adalah, dengan caranya sendiri, sebuah keajaiban bahwa regresi linier mengakui solusi analitis. Dan ini hanya berdasarkan linearitas masalah (berkenaan dengan parameter). Dalam OLS, Anda memiliki yang memiliki kondisi urutan pertama Untuk masalah dengan

\sum_{i} (y_{i} - x_{i}^{'} β)^{2} \to min_{β},

$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$

- 2 \sum_{i} (y_{i} - x_{i}^{'} β) x_{i} = 0

$-2 \sum_i (y_i - x_i'\beta) x_i = 0$

p

$p$ variabel (termasuk konstan, jika perlu — ada beberapa regresi melalui masalah asal juga), ini adalah sistem dengan

persamaan dan

tidak diketahui. Yang paling penting, ini adalah sistem linear, sehingga Anda dapat menemukan solusi menggunakan teori dan praktik aljabar linear standar . Sistem ini akan memiliki solusi dengan probabilitas 1 kecuali Anda memiliki variabel collinear sempurna.

p

$p$

p

$p$

Sekarang, dengan regresi logistik, segalanya menjadi tidak mudah lagi. Menuliskan fungsi log-likelihood, dan mengambil turunannya untuk menemukan MLE, kita dapatkan

l (y; x, β) = \sum_{i} y_{i} \ln p_{i} + (1 - y_{i}) \ln (1 - p_{i}), p_{i} = (1 + \exp (- θ_{i}))^{- 1}, θ_{i} = x_{i}^{'} β,

$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$

Parameter

memasukkan ini dengan cara yang sangat nonlinier: untuk setiap

, ada fungsi nonlinear, dan mereka ditambahkan bersama-sama. Tidak ada solusi analitis (kecuali mungkin dalam situasi sepele dengan dua pengamatan, atau sesuatu seperti itu), dan Anda harus menggunakanmetode optimasi nonlinieruntuk menemukan perkiraan

\frac{\partial l}{\partial β^{'}} = \sum_{i} \frac{d p_{i}}{d θ} (\frac{y_{i}}{p_{i}} - \frac{1 - y_{i}}{1 - p_{i}}) x_{i} = \sum_{i} [y_{i} - \frac{1}{1 + \exp (x_{i}^{'} β)}] x_{i}

$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$

β

$\beta$

i

$i$

\hat{β}

$\hat\beta$

Pandangan yang agak lebih dalam ke masalah (mengambil turunan kedua) mengungkapkan bahwa ini adalah masalah optimisasi cembung untuk menemukan maksimum fungsi cekung (parabola multivariat yang dimuliakan), sehingga salah satunya ada, dan setiap algoritma yang masuk akal harus menemukannya daripada dengan cepat, atau segalanya meledak hingga tak terbatas. Yang terakhir tidak terjadi logistik regresi ketika untuk beberapa ${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$ $c$ , yaitu, Anda memiliki prediksi yang sempurna. Ini adalah artefak yang agak tidak menyenangkan: Anda akan berpikir bahwa ketika Anda memiliki prediksi yang sempurna, modelnya bekerja dengan sempurna, tetapi cukup aneh, itu sebaliknya.

— Tugas
sumber

pertanyaannya adalah mengapa persamaan terakhir Anda tidak dapat dipecahkan. apakah ini karena fungsi invers divergen pada 0 dan 1, atau ini karena nonlinier pada umumnya?

— eyaler

(1) Mengenai ayat terakhir Anda: Dari perspektif matematika itu tidak bekerja "sempurna" dalam arti bahwa MLE akan menghasilkan memisahkan hyperplane yang sempurna. Apakah algoritma numerik Anda berperilaku bijaksana dalam situasi itu adalah masalah yang terpisah. Smoothing Laplace sering digunakan dalam situasi seperti itu.

— kardinal

@eyaler, saya akan mengatakan ini karena nonlinier secara umum. Pemahaman saya adalah bahwa ada satu set keadaan terbatas ketika ini dapat diselesaikan, meskipun saya tidak tahu apa keadaan ini.

— Tugas

Saya tidak mengerti, kondisi matematika apa yang ada yang membuat sistem tidak memiliki solusi bentuk tertutup? Apakah ada kondisi umum di mana hal-hal secara umum tidak memiliki solusi bentuk tertutup?

— Charlie Parker

apakah fakta bahwa regresi logistik tidak memiliki bentuk tertutup yang dapat dibuktikan dengan melihat iterasi gradient descent untuknya?

— Charlie Parker

Posting ini awalnya dimaksudkan sebagai komentar panjang dan bukan jawaban lengkap untuk pertanyaan yang ada.

Dari pertanyaan itu, sedikit tidak jelas apakah minatnya hanya terletak pada kasus biner atau, mungkin, dalam kasus yang lebih umum di mana mereka mungkin kontinu atau mengambil nilai diskrit lainnya.

l o g i t (Pr (Y_{i j} = 1)) = α_{i} - α_{j},

$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$

α_{i}

$\alpha_i$

i

$i$

Y_{i j} = 1

$Y_{ij} = 1$

i

$i$

j

$j$

$(i,j)$ $\hat{\alpha}_i$ $S_i = \sum_{j \neq i} Y_{ij}$

Untuk menafsirkan ini, bayangkan turnamen round-robin penuh dalam olahraga kompetitif favorit Anda. Kemudian, hasil ini mengatakan bahwa model Bradley-Terry memberi peringkat pemain / tim sesuai dengan persentase kemenangan mereka. Apakah ini hasil yang menggembirakan atau mengecewakan tergantung pada sudut pandang Anda, saya kira.

NB Hasil urutan-peringkat ini tidak berlaku, secara umum, ketika round-robin penuh tidak dimainkan.

— kardinal
sumber

Saya tertarik pada biner karena paling mudah untuk dianalisis. Saya telah menemukan kondisi yang cukup luas dalam karya Lauritzen - Anda mendapatkan formulir tertutup jika model log-linear yang sesuai dapat diurai

— Yaroslav Bulatov