Membandingkan koefisien regresi logistik antar model?

11

Saya telah mengembangkan model logit untuk diterapkan pada enam set data cross-sectional yang berbeda. Apa yang saya coba untuk mengungkap adalah apakah ada perubahan dalam efek substantif dari variabel independen yang diberikan (IV) pada variabel dependen (DV) mengendalikan untuk penjelasan lain pada waktu dan waktu yang berbeda.

Pertanyaan saya adalah:

Bagaimana saya menilai peningkatan / penurunan ukuran dalam hubungan antara IV dan DV?
Dapatkah saya hanya melihat besarnya (ukuran) koefisien yang berbeda di seluruh model atau apakah saya harus melalui proses lain?
Jika saya perlu melakukan sesuatu yang lain, apa itu dan dapatkah itu dilakukan / bagaimana saya melakukannya di SPSS?

Juga, dalam satu model tunggal,
Dapatkah saya membandingkan ukuran relatif variabel independen berdasarkan skor yang tidak standar jika semua kode 0-1 atau apakah saya perlu mengubahnya menjadi skor standar?
Apakah ada masalah dengan skor terstandarisasi?

logistic spss

— Ejs
sumber

2

Artikel ini mungkin menarik, dx.doi.org/10.1093/esr/jcp006 , tampaknya membandingkan efek antara model Logistik jauh lebih rumit daripada dalam kasus OLS!

— Andy W

13

Saya terutama akan fokus pada tiga pertanyaan pertama Anda. Jawaban singkatnya adalah: (1) Anda perlu membandingkan efek IV pada DV untuk setiap periode waktu tetapi (2) hanya membandingkan besaran dapat menyebabkan kesimpulan yang salah, dan (3) ada banyak cara untuk melakukan itu tetapi tidak ada konsensus yang mana yang benar.

Di bawah ini saya jelaskan mengapa Anda tidak bisa hanya membandingkan besaran koefisien dan mengarahkan Anda ke beberapa solusi yang telah dipikirkan sejauh ini.

Menurut Allison (1999), tidak seperti OLS, koefisien regresi logistik dipengaruhi oleh heterogenitas yang tidak teramati bahkan ketika heterogenitas seperti itu tidak terkait dengan variabel minat.

Ketika Anda cocok dengan regresi logistik seperti:

(1)

\ln (\frac{1}{1 - p_{i}}) = β_{0} + β_{1} x_{1 i}

$\ln\bigg(\frac{1}{1-p_i}\bigg) = \beta_{0} + \beta_{1}x_{1i}$

$y^*$ $1$ $y^*$

y^{*} = α_{0} + α_{1} x_{1 i} + σ ε

$y^* =\alpha_{0} + \alpha_{1}x_{1i} + \sigma \varepsilon$

$\varepsilon$

$\alpha$ $\beta$

β_{j} = \frac{α_{j}}{σ} j = 1, . . ., J .

$\beta_{j} = \frac{\alpha_{j}}{\sigma}\;\;j=1,...,J.$

$\sigma$ $\beta$ $\sigma$

Ini karena perbandingan dapat menghasilkan kesimpulan yang salah jika variasi yang tidak teramati berbeda antar kelompok, negara atau periode. Kedua perbandingan menggunakan model yang berbeda dan menggunakan istilah interaksi dalam model yang sama menderita masalah ini. Selain logit, ini juga berlaku untuk probit sepupunya, clog-log, cauchit dan, dengan ekstensi, untuk model bahaya waktu diskrit yang diperkirakan menggunakan fungsi tautan ini. Model logit yang dipesan juga terpengaruh olehnya.

Williams (2009) berpendapat bahwa solusinya adalah memodelkan variasi yang tidak teramati melalui model pilihan heterogen (alias, model skala lokasi), dan memberikan tambahan Stata pada panggilan oglm untuk itu (Williams 2010). Dalam R, model pilihan yang heterogen dapat disesuaikan dengan hetglm()fungsi glmxpaket, yang tersedia melalui CRAN. Kedua program ini sangat mudah digunakan. Terakhir, Williams (2009) menyebutkan PLUMrutinitas SPSS untuk pemasangan model-model ini, tetapi saya belum pernah menggunakannya dan tidak dapat berkomentar betapa mudahnya menggunakannya.

Namun, setidaknya ada satu kertas kerja di luar sana yang menunjukkan bahwa perbandingan menggunakan model pilihan yang heterogen bahkan bisa lebih bias jika persamaan varians salah ditentukan atau ada kesalahan pengukuran.

Mood (2010) daftar solusi lain yang tidak melibatkan pemodelan varians, tetapi menggunakan perbandingan perubahan probabilitas yang diprediksi.

Rupanya itu adalah masalah yang tidak diselesaikan dan saya sering melihat makalah di konferensi bidang saya (Sosiologi) datang dengan solusi yang berbeda untuk itu. Saya akan menyarankan Anda untuk melihat apa yang dilakukan orang di bidang Anda dan kemudian memutuskan bagaimana menghadapinya.

Referensi

Allison, PD (1999). Membandingkan Koefisien Logit dan Probit di Seluruh Grup. Metode & Penelitian Sosiologis, 28 (2), 186-208.
Mood, C. (2010). Regresi Logistik: Mengapa Kita Tidak Dapat Melakukan Apa yang Kita Pikirkan Kita Dapat Kita Lakukan, dan Apa yang Dapat Kita Lakukan Tentang Itu. European Sociological Review, 26 (1), 67–82.
Williams, R. (2009). Menggunakan Model Pilihan Heterogen untuk Membandingkan Logit dan Koefisien Probit di Seluruh Grup. Metode & Penelitian Sosiologis, 37 (4), 531–559.
Williams, R. (2010). Menyesuaikan model pilihan heterogen dengan oglm. The Stata Journal, 10 (4), 540–567.

— Kenji
sumber

Saya mencoba menerapkan solusi Williams (2009) dalam R dan sepertinya versi baru paket glmx tidak memiliki fungsi hetprob () lagi. Hanya ingin memeriksa apakah Anda tahu ada alternatif untuk ini?

— AliCivil

1

Saya belum pernah menggunakan glmx untuk sementara waktu dan tidak tahu itu sudah berubah. Sekarang ini tersedia melalui CRAN, dan fungsi yang digunakan untuk probit hereroskedastik disebut hetglm (), tampaknya. Saya akan memperbarui jawaban ini untuk mencerminkannya nanti (ini tentang waktu tidur di sini). Saya harap ini membantu untuk saat ini.

— Kenji

3

Apakah ada perubahan di set data? Saya bisa menjawabnya tanpa melihat data! Iya. Ada. Seberapa besar mereka? Itu kuncinya. Bagi saya, cara melihat adalah dengan melihat. Anda akan memiliki rasio odds untuk setiap variabel independen untuk setiap set data - apakah mereka berbeda dalam cara orang akan menganggapnya menarik? Sekarang, memang benar masing-masing akan memiliki kesalahan standar dan seterusnya, dan mungkin ada cara untuk melihat apakah mereka secara statistik berbeda satu sama lain, tetapi apakah itu benar-benar pertanyaan yang menarik? Jika ya, maka salah satu cara untuk mengujinya dengan mudah dengan perangkat lunak adalah dengan menggabungkan semua studi, dan memasukkan "studi" sebagai variabel independen lainnya. Anda bahkan dapat menguji interaksi, jika Anda mau. Apakah Anda ingin melakukan ini tergantung pada pertanyaan substantif Anda.

Mengenai membandingkan variabel dalam suatu model, masalah utama dengan skor terstandarisasi adalah bahwa mereka distandarisasi pada sampel khusus Anda. Jadi, estimasi parameter dan seterusnya dalam hal standar deviasi variabel dalam sampel khusus Anda. Bahkan jika sampel Anda benar-benar sampel acak dari beberapa populasi, sampel tersebut akan memiliki (sedikit) penyimpangan standar yang berbeda dari sampel acak lainnya. Ini membuat segalanya membingungkan.

Masalah lainnya adalah apa arti pertanyaan "ukuran relatif". Jika infus Anda adalah hal-hal yang dipahami dengan baik, Anda dapat membandingkan OR di seluruh rentang yang berarti sesuatu.

— Peter Flom - Pasang kembali Monica
sumber

Itu berguna, terima kasih Peter. Alasan saya mengajukan pertanyaan pertama adalah karena saya telah melihat hal itu - perbandingan koefisien antar model dalam sampel dan perbandingan antar model dari sampel yang berbeda - dalam makalah referensi. Saya tidak merasa itu adalah pendekatan yang tepat, dan, ternyata, saya benar. Mengenai detail teknis, tidak bisakah saya hanya memperkirakan model pada semua enam sampel dan istilah interaksi antara prediktor utama yang ingin saya bandingkan dan variabel yang menentukan masing-masing sampel (mewakili periode waktu yang berbeda)? Apakah itu yang kamu katakan? Apakah saya memerlukan variabel untuk setiap s

— Ejs

Hai. Anda perlu kode "sampel" dengan cara yang sama seperti variabel kategori lainnya - pengkodean dummy atau pengkodean efek atau apa pun.

— Peter Flom - Reinstate Monica

Mengenai interaksi .... ya, mereka bisa sulit ditafsirkan. Saya suka pendekatan grafis untuk menunjukkan apa artinya.

— Peter Flom - Pasang kembali Monica

3

Guilherme ada di sini. Sementara tanggapan lain bermanfaat, harap dicatat bahwa regresi logistik (dan semua regresi nonlinear seperti Poisson, dalam hal ini) secara fundamental berbeda dari regresi linier. Mungkin ada masalah serius dengan faktor penskalaan logit ketika menjalankan analisis yang sama pada enam set data yang berbeda dan kemudian menjalankan analisis tersebut pada set data gabungan. Perubahan koefisien mungkin tidak ada hubungannya dengan perbedaan yang bermakna (bahkan jika secara statistik signifikan atau secara substantif penting). Mereka bisa melakukan semuanya dengan heterogenitas yang tidak teramati di seluruh sampel. Anda benar-benar harus menguji untuk itu. Banyak (jika tidak sebagian besar) peneliti di bidang ilmu sosial dan kebijakan mengabaikan hal ini. Guilherme memberikan artikel mani tentang ini yang saya sarankan untuk dilihat semua orang. Saran Peters praktis, tetapi hanya pengkodean variabel dummy untuk sampel data yang berasal dari tidak akan membahas heterogenitas ini dalam faktor penskalaan. Anda dapat melakukannya dalam regresi linier dan heterogenitas seharusnya tidak memengaruhi koefisien Anda, tetapi di sini mungkin.

Satu aspek lain untuk efek heterogenitas yang tidak teramati yang unik untuk regresi logit vs linier, adalah efek dari berbagai regressor di setiap set data. Jika Anda tidak memiliki variabel yang sama, atau kemungkinan jika mereka diukur secara berbeda, Anda memiliki bentuk bias variabel yang dihilangkan. Tidak seperti dengan regresi linier, variabel ortogonal yang dihilangkan ke regressor utama Anda masih dapat membiaskan estimasi Anda. Seperti yang dikatakan Cramer:

Bahkan dengan regresi ortogonal, maka, variabel yang dihilangkan menekan ke nol, relatif terhadap nilainya dalam persamaan penuh. Dengan kata lain, model diskrit bervariasi berbanding terbalik dengan tingkat heterogenitas yang tidak teramati. Konsekuensi praktisnya adalah bahwa estimasi dari sampel yang berbeda dalam hal ini tidak dapat dibandingkan secara langsung. ( http://dare.uva.nl/document/2/96199 ) $\hat β$ $\hat β$

Cramer juga menunjukkan meskipun estimasi koefisien bias ke bawah ketika menghilangkan variabel, turunan parsial tidak. Ini cukup rumit dan Anda harus membaca artikel untuk penjelasan yang lebih jelas - titik keseluruhannya adalah, jangan secara eksklusif melihat log-odds atau odds ratio. Pertimbangkan probabilitas dan turunan yang diprediksi; lihat perintah margin di Stata untuk lebih jelasnya. JD Long memiliki makalah yang masuk ke detail di sini.

Terakhir, ada sejumlah makalah yang dapat Anda gunakan untuk Google yang membahas istilah interaksi dalam model logit. Pemahaman saya adalah bahwa mengambil koefisien logit pada interaksi sebagai panduan tetapi tidak definitif, terutama jika Anda lebih suka melihat koefisien sebagai rasio odds eksponensial. Melihat probabilitas yang diprediksi dan efek marginal rata-rata lebih baik (sekali lagi, lihat dokumentasi tentang perintah margin Stata untuk logit, bahkan jika Anda menggunakan SPSS ini masih akan membantu).

Saya tidak cukup akrab dengan SPSS untuk mengetahui bagaimana paket itu dapat menangani masalah ini, tetapi saya akan mengatakan ini: ketika Anda masuk ke masalah statistik yang lebih dalam seperti ini, ini merupakan indikasi bahwa sudah saatnya bagi Anda untuk pindah ke yang lebih lanjut. paket fleksibel, canggih seperti Stata atau R.

— robin.datadrivers
sumber

+1 untuk merekomendasikan efek marginal dan untuk merekomendasikan pindah ke R.

— Kenji

1

Alat lain yang mungkin berguna adalah koefisien regresi terstandarisasi, atau setidaknya versi semu yang kasar dan siap pakai. Anda dapat memperoleh satu versi seperti itu dengan mengalikan koefisien yang Anda dapatkan dengan standar deviasi prediktor. (Ada versi lain dan beberapa perdebatan tentang yang terbaik, misalnya lihat Menard 2002, Analisis Regresi Logistik Terapan ( buku Google )). Ini akan memberi Anda cara untuk menilai kekuatan efek di seluruh studi.

— rolando2
sumber