Singularitas yang tidak terduga dalam kesalahan matriks Hessian dalam regresi logistik multinomial

Saya telah melakukan analisis regresi logistik multinomial menggunakan SPSS 19. Saya telah menemui masalah berikut ketika saya menjalankan prosedur analisis:

"Singularitas tak terduga dalam matriks Hessian ditemui. Ini menunjukkan bahwa beberapa variabel prediktor harus dikecualikan atau beberapa kategori harus digabungkan."

Sedikit latar belakang tentang data saya yang digunakan. Saya memiliki empat prediktor kategori dengan masing-masing dua level, 1 atau 2. Variabel respons dalam model saya adalah variabel kategori tiga tingkat. Saya menggunakan level terakhir sebagai kategori referensi. Saya mencoba membandingkan koefisien intersep dengan yang dari empat prediktor dalam dua log untuk menemukan level variabel respon mana yang dapat menyebabkan masalah ini. Perbedaan besar dalam koefisien antara intersep dan tiga prediktor menunjukkan bahwa itu mungkin kategori referensi yang memiliki masalah. Namun, saya tidak dapat menggabungkan level variabel respon (yang saya tidak diizinkan untuk penelitian saya).

Saya juga mencoba mengecualikan prediktor satu per satu, tetapi masih mendapat masalah yang sama.

Adakah yang bisa memberitahu saya apa yang harus saya lakukan untuk menyelesaikan masalah ini?

— Kate
sumber

Pemeriksaan pertama adalah menghitung peringkat matriks desain Anda. Jika kurang dari jumlah kolom, Anda mungkin perlu menggabungkan dan / atau mengkode ulang dengan tepat.

— kardinal

Mengingat bahwa semua variabel bersifat kategoris, salah satu opsi alternatif adalah menggunakan metode tabel kontingensi. Yaitu Anda memiliki tabel kontingensi lima arah. Ini dapat dilakukan dengan menggunakan poisson glm (model log-linear), yang mungkin lebih stabil (mungkin tidak sekalipun). Bisa juga menjadi "masalah pemisahan" - respons Anda dapat diprediksi dengan sempurna dari kovariat - membuat komputer panik ketika ini terjadi karena variansnya nol.

— probabilityislogic

Sebenarnya, menggabungkan level variabel respon adalah cara yang disarankan untuk mendekati masalah dalam regresi logistik multinomial. Dengan menggabungkan dua tingkat yang lebih rendah dan kemudian dua tingkat atas, Anda dapat memperkirakan hasil multinomial dengan menggunakan dua regresi logistik yang lebih sederhana. Regresi logistik ini dan diagnostiknya mungkin mengindikasikan apa yang salah.

— whuber

Saya kunci yang Anda cari dapat ditemukan di situs web UCLA untuk Regresi Logistik Multinomial di mana ia menyatakan:

Prediksi sempurna: Prediksi sempurna berarti bahwa hanya satu nilai variabel prediktor yang dikaitkan dengan hanya satu nilai variabel respons. Anda dapat mengetahui dari output koefisien regresi bahwa ada sesuatu yang salah. Anda kemudian dapat melakukan tabulasi dua arah dari variabel hasil dengan variabel bermasalah untuk mengkonfirmasi ini dan kemudian jalankan kembali model tanpa variabel bermasalah.

Saya akan merekomendasikan menjalankan tabel dua arah untuk masing-masing prediktor (vs respons) untuk menentukan apakah satu tingkat respons terjadi dengan hanya satu tingkat prediktor Anda.

— M. Tibbits
sumber