Alternatif untuk model logit multinomial

Saya mencoba memperkirakan model pilihan pekerjaan dengan tiga pilihan. Adakah alternatif untuk menggunakan regresi logistik multinomial ketika menangani hasil kategorikal yang tidak berurutan seperti itu?

Ketika berhadapan dengan variabel dependen biner tampaknya ada beberapa pilihan seperti model LPM serta model probit dan logit biner. Ketika berhadapan dengan variabel kategori tidak teratur, literatur tetap merekomendasikan model multinomial logit tanpa membandingkannya dengan alternatif.

— Thor
sumber

Apakah Anda hanya bertanya apakah ada fungsi tautan alternatif (selain logit) yang tersedia untuk kasus multinomial? Atau, apakah Anda bertanya tentang berbagai jenis model (seperti model kereta )? Atau mungkin sesuatu yang lain? (Catatan tambahan, jika yang pertama, mungkin bisa membantu Anda membaca jawaban saya di sini: model selisih antara logit dan probit , untuk informasi umum tentang masalah ini, walaupun ditulis dalam konteks yang sedikit berbeda.)

— gung - Reinstate Monica

Terima kasih banyak atas komentarnya. Saya pasti akan membaca tautannya. Saya terutama bertanya-tanya apakah ada alternatif yang menggunakan regresi linier biasa (OLS) untuk menangani hasil kategori tidak teratur. Apakah Anda tahu ada alternatif seperti itu? Ketika datang ke hasil biner, tampaknya ada diskusi lengkap tentang apakah akan menggunakan OLS atau model logit / probit biner.

— Thor

Untuk perkiraan pertama, OLS seharusnya tidak pernah digunakan untuk hasil biner. Saya yakin ada, atau bisa jadi, algoritma regresi multinomial yang menggunakan fungsi tautan alternatif, tetapi saya tidak tahu apakah perangkat lunak utama mendukungnya.

— gung - Reinstate Monica

Tidak yakin apa yang Anda maksud dengan perkiraan pertama (maaf, saya seorang pemula). Tetapi tampaknya ada beberapa ahli ekonometrika terkemuka yang berpendapat bahwa menggunakan fungsi model LPM serta model logit ketika memperkirakan hasil biner. Setidaknya Angrist dan Pischke melakukannya dalam buku mereka 'Mostly harmless econometrics' (2009). Apakah Anda memiliki tip tentang tempat saya dapat membaca tentang fungsi tautan alternatif tersebut? Sekali lagi, terima kasih atas tanggapan Anda!

— Thor

"Untuk perkiraan pertama ... tidak pernah ..." berarti bahwa 99% dari waktu Anda seharusnya tidak menggunakan OLS dengan hasil biner. Saya menyadari bahwa ada beberapa kasus di mana itu membuat sedikit perbedaan & bahwa beberapa orang tidak setuju dengan saran standar - itu sebabnya saya tidak hanya mengatakan 'tidak pernah' tanpa pagar. Sayangnya, saya tidak tahu tempat yang bagus untuk membaca tentang penggunaan fungsi tautan alternatif dengan regresi multinomial.

— gung - Reinstate Monica

Jawaban:

Ada berbagai model yang tersedia untuk memodelkan model multinomial.

Saya merekomendasikan Cameron & Trivedi Microeconometrics Menggunakan Stata untuk perkenalan yang mudah dan luar biasa atau lihat Slide Kuliah Imbens & Wooldridge atau di sini yang tersedia online.

Model yang banyak digunakan meliputi:

regresi logistik multinomial atau mlogit di Stata

logit kondisional multinomial (memungkinkan untuk dengan mudah memasukkan tidak hanya prediktor individu-spesifik tetapi juga pilihan-spesifik) atau asclogit di Stata

nested logit (mengendurkan independensi dari asumsi alternatif yang tidak relevan (IIA) dengan mengelompokkan / memberi peringkat pada pilihan secara hierarkis) atau nlogit di Stata

mixed logit (melonggarkan asumsi IIA dengan mengasumsikan misalnya parameter berdistribusi normal) atau mixlogit di Stata.

model probit multinomial (lebih jauh dapat mengendurkan asumsi IIA tetapi Anda harus memiliki prediktor spesifik-pilihan tersedia) logit campuran (melonggarkan asumsi IIA dengan asumsi misalnya parameter terdistribusi normal), gunakan asmprobit di Stata (mprobit tidak memungkinkan untuk menggunakan prediktor pilihan-spesifik tetapi Anda harus menggunakannya untuk mengendurkan asumsi IIA )

— Arne Jonas Warnke
sumber

dapatkah saya bertanya mengapa logit campuran membuat santai IIA? menurut saya logit campuran hanyalah bayesian logit di mana distribusi posterior adalah campuran (jumlah mode == jumlah individu)

β

$\beta$

— ElleryL

Ya tentu saja, terima kasih, lihat Wikipedia untuk penjelasan: https://en.wikipedia.org/wiki/Mixed_logit

— Arne Jonas Warnke

Jika Anda menginginkan opsi yang sangat berbeda dari regresi logistik, Anda bisa menggunakan jaring saraf. Sebagai contoh, nnetpaket R memiliki multinomfungsi. Atau Anda bisa menggunakan Hutan Acak ( randomForestpaket R , dan lainnya). Dan ada beberapa alternatif Pembelajaran Mesin lainnya, meskipun opsi seperti SVM cenderung tidak dikalibrasi dengan baik yang membuat output mereka lebih rendah - menurut saya - dengan regresi logistik.

[Sebenarnya, logit mungkin sedang digunakan di bawah tenda oleh neuron di jaringan saraf. Jadi itu sangat berbeda, tetapi tidak jauh berbeda pada saat yang bersamaan.]

— Wayne
sumber

+1. Hanya untuk memperluas beberapa poin ... SVM dapat dikalibrasi setelah pelatihan untuk menghasilkan probabilitas yang baik (misalnya menggunakan penskalaan Platt atau regresi isotonik, dengan biaya langkah tambahan). Jaring saraf dengan output softmax (dan segala jenis fungsi aktivasi nonlinier di lapisan tersembunyi) dapat dianggap sebagai pembelajaran sekaligus pemetaan nonlinier secara simultan ke beberapa ruang fitur, dan melakukan regresi logistik multinomial di ruang fitur tersebut.

— user20160

@Wayne; Saya bertanya-tanya karena multinomial logit memerlukan asumsi IIA; tetapi tentang jaringan saraf dengan aktivasi softmax? Apakah itu juga memerlukan asumsi yang sama?

— ElleryL

Juga, pikirkan Neural Nets (dengan aktivasi softmax), Decision Trees (atau Random Forests) tidak memerlukan asumsi IIA dipenuhi mengingat tidak dapat diandalkannya tes ini berkaitan dengan memeriksa asumsi IIA. Jadi ini mungkin keuntungan dibandingkan dengan logistik multinomial jika semua yang kami khawatirkan hanyalah prediksi.

Atau, beberapa model logistik dapat dibangun untuk kategori K-1 dengan kategori Kth sebagai referensi. Ini juga memungkinkan untuk prediktor yang berbeda untuk dicolokkan untuk masing-masing persamaan berbeda dengan multinomial

— SrikanthRaja
sumber

Ini bukan komentar daripada jawaban. Kami dapat mengonversi jawaban Anda dalam komentar atau Anda dapat memperluas jawaban Anda.

— Ferdi

dapatkah Anda menjelaskan mengapa Neural Nets (dengan aktivasi softmax) tidak memerlukan asumsi IIA. menurut ini, en.wikipedia.org/wiki/Luce%27s_choice_axiom Saya pikir Neural Nets (dengan aktivasi softmax) memiliki batasan yang sama

— ElleryL