Mengevaluasi model regresi logistik

Saya telah mengerjakan model logistik dan saya mengalami kesulitan mengevaluasi hasilnya. Model saya adalah logit binomial. Variabel penjelas saya adalah: variabel kategori dengan 15 level, variabel dikotomis, dan 2 variabel kontinu. N saya besar> 8000.

Saya mencoba memodelkan keputusan perusahaan untuk berinvestasi. Variabel dependen adalah investasi (ya / tidak), variabel level 15 adalah hambatan berbeda untuk investasi yang dilaporkan oleh manajer. Variabel lainnya adalah kontrol untuk penjualan, kredit, dan kapasitas yang digunakan.

Di bawah ini adalah hasil saya, menggunakan rmspaket di R.

  Model Likelihood     Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       
Obs          8035    LR chi2     399.83    R2       0.067    C       0.632    
 1           5306    d.f.            17    g        0.544    Dxy     0.264    
 2           2729    Pr(> chi2) <0.0001    gr       1.723    gamma   0.266    
max |deriv| 6e-09                          gp       0.119    tau-a   0.118    
                                           Brier    0.213                     

          Coef    S.E.   Wald Z Pr(>|Z|)
Intercept -0.9501 0.1141 -8.33  <0.0001 
x1=10     -0.4929 0.1000 -4.93  <0.0001 
x1=11     -0.5735 0.1057 -5.43  <0.0001 
x1=12     -0.0748 0.0806 -0.93  0.3536  
x1=13     -0.3894 0.1318 -2.96  0.0031  
x1=14     -0.2788 0.0953 -2.92  0.0035  
x1=15     -0.7672 0.2302 -3.33  0.0009  
x1=2      -0.5360 0.2668 -2.01  0.0446  
x1=3      -0.3258 0.1548 -2.10  0.0353  
x1=4      -0.4092 0.1319 -3.10  0.0019  
x1=5      -0.5152 0.2304 -2.24  0.0254  
x1=6      -0.2897 0.1538 -1.88  0.0596  
x1=7      -0.6216 0.1768 -3.52  0.0004  
x1=8      -0.5861 0.1202 -4.88  <0.0001 
x1=9      -0.5522 0.1078 -5.13  <0.0001 
d2         0.0000 0.0000 -0.64  0.5206  
f1        -0.0088 0.0011 -8.19  <0.0001 
k8         0.7348 0.0499 14.74  <0.0001 

Pada dasarnya saya ingin menilai regresi dalam dua cara, a) seberapa baik model cocok dengan data dan b) seberapa baik model memprediksi hasil. Untuk menilai goodness of fit (a), saya pikir tes penyimpangan berdasarkan chi-kuadrat tidak sesuai dalam kasus ini karena jumlah kovariat unik mendekati N, jadi kami tidak dapat mengasumsikan distribusi X2. Apakah interpretasi ini benar?

Saya bisa melihat kovariat menggunakan epiRpaket.

require(epiR)
logit.cp <- epi.cp(logit.df[-1]))

    id n x1   d2 f1 k8
     1 1 13 2030 56  1
     2 1 14  445 51  0
     3 1 12 1359 51  1
     4 1  1 1163 39  0
     5 1  7  547 62  0
     6 1  5 3721 62  1
    ...
    7446

Saya juga telah membaca bahwa uji GoF Hosmer-Lemeshow sudah usang, karena membagi data dengan 10 untuk menjalankan tes, yang agak sewenang-wenang.

Sebagai gantinya saya menggunakan tes le Cessie – van Houwelingen – Copas – Hosmer, yang diimplementasikan dalam rmspaket. Saya tidak yakin persis bagaimana tes ini dilakukan, saya belum membaca makalah tentang itu. Bagaimanapun, hasilnya adalah:

Sum of squared errors    Expected value|H0           SD             Z            P
         1711.6449914         1712.2031888    0.5670868    -0.9843245    0.3249560

P besar, jadi tidak ada cukup bukti untuk mengatakan bahwa model saya tidak cocok. Bagus! Namun....

Ketika memeriksa kapasitas prediksi model (b), saya menggambar kurva ROC dan menemukan bahwa AUC 0.6320586. Itu tidak terlihat bagus.

Jadi, untuk meringkas pertanyaan saya:

1. Apakah tes yang saya jalankan sesuai untuk memeriksa model saya? Tes apa lagi yang bisa saya pertimbangkan?

2. Apakah Anda menganggap model itu berguna sama sekali, atau akankah Anda mengabaikannya berdasarkan hasil analisis ROC yang relatif buruk?

Ada ribuan tes yang dapat diterapkan seseorang untuk memeriksa model regresi logistik, dan banyak dari ini tergantung pada apakah tujuan seseorang adalah prediksi, klasifikasi, pemilihan variabel, inferensi, pemodelan kausal, dll. Tes Hosmer-Lemeshow, misalnya, menilai kalibrasi model dan apakah nilai yang diprediksi cenderung cocok dengan frekuensi yang diprediksi ketika dibagi dengan desil risiko. Meskipun, pilihan 10 adalah arbitrer, tes ini memiliki hasil asimptotik dan dapat dengan mudah dimodifikasi. Tes HL, serta AUC, memiliki (menurut saya) hasil yang sangat menarik ketika dihitung pada data yang sama yang digunakan untuk memperkirakan model regresi logistik. Ini adalah program yang mengherankan seperti SAS dan SPSS yang membuat pelaporan statistik untuk analisis de facto yang sangat berbedacara menyajikan hasil regresi logistik. Tes akurasi prediktif (misalnya HL dan AUC) lebih baik digunakan dengan set data independen, atau (bahkan lebih baik) data yang dikumpulkan selama periode yang berbeda dalam waktu untuk menilai kemampuan prediksi model.

Hal lain yang perlu dikemukakan adalah bahwa prediksi dan kesimpulan adalah hal yang sangat berbeda. Tidak ada cara obyektif untuk mengevaluasi prediksi, AUC 0,65 sangat baik untuk memprediksi kejadian yang sangat langka dan kompleks seperti risiko kanker payudara 1 tahun. Demikian pula, kesimpulan dapat dituduh sewenang-wenang karena tingkat positif palsu tradisional 0,05 hanya biasa dilemparkan.

Jika saya jadi Anda, deskripsi masalah Anda tampaknya tertarik untuk memodelkan efek dari manajer yang melaporkan "hambatan" dalam berinvestasi, jadi fokus pada penyajian asosiasi yang disesuaikan dengan model. Sajikan estimasi titik dan interval kepercayaan 95% untuk model odds rasio dan bersiaplah untuk mendiskusikan makna, interpretasi, dan validitasnya dengan orang lain. Plot hutan adalah alat grafis yang efektif. Anda juga harus menunjukkan frekuensi hambatan ini dalam data, dan mempresentasikan mediasinya oleh variabel penyesuaian lain untuk menunjukkan apakah kemungkinan pengganggu itu kecil atau besar dalam hasil yang tidak disesuaikan. Saya akan melangkah lebih jauh dan mengeksplorasi faktor-faktor seperti alpha Cronbach untuk konsistensi di antara manajer melaporkan hambatan untuk menentukan apakah manajer cenderung melaporkan masalah yang sama, atau,

Saya pikir Anda agak terlalu fokus pada angka dan bukan pada pertanyaan. 90% dari presentasi statistik yang baik terjadi sebelum hasil model disajikan.