Cara menghitung intersep dan koefisien secara manual dalam regresi logistik

Saya sedang belajar tentang Regresi Logistik. Tapi saya terjebak dalam menghitung intersep ( ) dan koefisien ( ). Saya sudah mencarinya melalui internet, tetapi hanya mendapatkan tutorial menggunakan Microsoft Excel atau fungsi bawaan di R. Saya mendengarnya bisa diselesaikan dengan Kemungkinan Maksimum, tapi saya tidak mengerti bagaimana menggunakannya, karena saya tidak tidak memiliki latar belakang statistik. Adakah yang bisa memberi saya penjelasan dan simulasi singkat untuk menghitung koefisien secara manual? $\beta_0$ $\beta_1$

— Kadek Dwi Budi Utama
sumber

Apakah Anda memahami pengoptimalan secara umum? Seperti menemukan minimum atau maksimum suatu fungsi?

— probabilityislogic

Saya benar-benar berharap lebih banyak orang mengajukan pertanyaan seperti ini.

— Maddenker

Sayangnya, tidak seperti regresi linier, tidak ada rumus sederhana untuk estimasi kemungkinan maksimum regresi logistik. Anda harus melakukan beberapa jenis algoritma optimasi, seperti gradient descent atau kuadrat terkecil yang berulang secara berulang .

— Dougal
sumber

Itu umumnya benar. Pengecualian ada ketika satu-satunya variabel penjelas adalah kategorikal, atau ketika semua variabel penjelas adalah kategorikal dan semua interaksi (tingkat lebih tinggi) dimasukkan dalam model. Dalam hal ini koefisien adalah transformasi dari sarana.

— Maarten Buis

Apakah Anda punya sumber untuk ini?

— information_interchange

Saya ingin mengusulkan metode saya dan berharap ini membantu.

Untuk menghitung koefisien secara manual, Anda harus memiliki beberapa data, atau mengatakan kendala. Dalam regresi logistik, sebenarnya itu adalah bagaimana fungsi logistik didefinisikan melalui entropi maksimum dan pengganda lagrange, batasan ini harus dipenuhi dengan dua lainnya: $E_p f_j = E_{\hat p}f_j$ . Artinya, harapan model harus sesuai dengan harapan yang diamati , yang telah diilustrasikan dalam makalah ini . Itu sebabnya fungsi logit sebagai fungsi tautan dalam regresi logistik juga disebut fungsi rata-rata.

Ambil contoh, tab silang di bawah ini menunjukkan berapa banyak pria / wanita di kelas kehormatan.

           |         female
       hon |      male     female |     Total  
-----------+----------------------+----------
         0 |        74         77 |       151 
         1 |        17         32 |        49 
-----------+----------------------+----------
     Total |        91        109 |       200

Seperti disebutkan di atas $\sum_i y_i x_{ij} = \sum_i p_i x_{ij}$ memegang. Sisi kiri (LHS) adalah harapan dari pengamatan (y dalam sampel) dan sisi kanan (RHS) adalah harapan model.

Dengan asumsi fungsinya adalah $log(\frac{p}{1-p})=\beta_0 + \beta_1x_i$ atau setara $p=\frac{1}{1+e^{-(\beta_0+\beta_1 * x_i)}}$ ( $x_i$ mewakili fitur pengamatan menjadi perempuan, itu adalah 1 jika pengamatan adalah perempuan dan 0 sebaliknya), jelas kita tahu bahwa dua persamaan berikut memegang masing-masing ketika $X=1$ dan kapan $X=0$ dengan data yang ditunjukkan di atas:

\frac{32}{109} = \frac{1}{1 + e^{- (β_{0} + β_{1} * 1)}}

$\frac{32}{109} = \frac{1}{1+e^{-(\beta_0+\beta_1 * 1)}}$

\frac{17}{91} = \frac{1}{1 + e^{- (β_{0} + β_{1} * 0)}}

$\frac{17}{91} = \frac{1}{1+e^{-(\beta_0 + \beta_1 * 0)}}$

Jadi mencegat ( $\beta_0$ ) adalah -1,47 dan koefisien ( $\beta_1$ ) adalah 0,593. Anda bisa mendapatkannya secara manual.

Sepanjang baris yang sama, Anda dapat secara manual menghitung koefisien model regresi logistik lainnya (ini berlaku juga untuk regresi softmax tetapi di luar ruang lingkup pertanyaan ini) jika cukup data diberikan.

Saya harap saya benar, jika tidak tolong beri tahu saya. Terima kasih.

— Lerner Zhang
sumber

Adakah yang bisa memberi tahu saya mengapa saya menerima downvote? Terima kasih.

— Lerner Zhang

Saya bukan downvote, jadi saya tidak bisa mengatakan dengan pasti. Tapi saya pikir Anda dapat meningkatkan jawaban Anda dengan 1) menghubungkan perhitungan Anda dengan masalah kemungkinan maksimum yang dipecahkan oleh regresi logistik, 2) Menjelaskan mengapa contoh ini dapat dikerjakan dengan tangan tetapi yang lain tidak, 3) menyesuaikan regresi dengan menggunakan algoritma iteratif dan menunjukkan bahwa jawabannya sama.

— Matthew Drury

@ MatthewDrury Saya telah memperbarui jawaban saya setelah beberapa penggalian. Silakan periksa.

— Lerner Zhang

Hey @Lerner Anda harus mengalikan 1 / (1 + e− (β0 + β1 ∗ 1)) 32 kali dan 1 / (1 + e− (β0 + β1 ∗ 0)) 17 kali. Tidak hanya menggunakan penambahan sederhana seperti 32/109.

— Aerin

@BYOR OK, saya akan periksa dan perbarui segera.

— Lerner Zhang