Jika saya menginginkan model yang dapat ditafsirkan, apakah ada metode selain Regresi Linier?

16

Saya bertemu dengan beberapa ahli statistik yang tidak pernah menggunakan model selain Regresi Linier untuk prediksi karena mereka percaya bahwa "model ML" seperti meningkatkan acak hutan atau gradien sulit untuk dijelaskan atau "tidak dapat ditafsirkan".

Dalam Regresi Linier, mengingat bahwa kumpulan asumsi diverifikasi (normalitas kesalahan, homoskedastisitas, tidak ada multi-collinearity), uji-t menyediakan cara untuk menguji signifikansi variabel, tes yang menurut pengetahuan saya tidak tersedia di hutan acak atau model peningkatan gradien.

Oleh karena itu, pertanyaan saya adalah apakah saya ingin memodelkan variabel dependen dengan satu set variabel independen, demi interpretasi, haruskah saya selalu menggunakan Regresi Linier?

— Pemenang
sumber

6

Tergantung pada apa yang Anda anggap linier. Model linier umum dan model aditif umum masih bekerja berdasarkan komponen linier yang diperkirakan, tetapi dapat memodelkan berbagai macam hubungan.

— Frans Rodenburg

2

Juga tergantung apa yang Anda maksud dengan ditafsirkan. Berbagai cara 'mengintip ke dalam kotak hitam' telah diusulkan untuk model pembelajaran mesin, tetapi mungkin atau mungkin tidak sesuai untuk tujuan Anda.

— user20160

5

Saya tidak begitu mengerti apa yang harus dilakukan oleh statistik inferensial dan uji t dengan interpretabilitas, yang IMO utamanya adalah tentang estimasi koefisien.

— S. Kolassa - Reinstate Monica

3

@StephanKolassa "Interretability" juga dapat berkaitan dengan formulir fungsi . Misalnya, perkiraan koefisien yang dihasilkan oleh kurva polinomial fraksional algoritmik yang dipasang dalam model regresi (apakah regresi linier, GLM, atau yang lain), walaupun mendapatkan kecocokan yang bagus , hampir pasti anti-intuitif: dapatkah Anda mengingat berbagai bentuk yang dihasilkan oleh model dari bentuk

, dan karenanyamenginterpretasikanhubungan antara

dan

tersirat oleh estimasi koefisien Anda?

y_{i} = β_{0} + β_{1} x_{i}^{- 3 / 5} + β_{2} x_{i}^{1 / 3} + β_{3} x_{i}^{3} + ε_{i}

$y_{i}=\beta_{0} + \beta_{1}x_{i}^{-3/5} + \beta_{2}x_{i}^{1/3} + \beta_{3}x_{i}^{3} + \varepsilon_{i}$

y

$y$

x

$x$

— Alexis

2

@UserX Apa yang Anda gambarkan masih regresi linier (yaitu linear dalam parameter). Kontras

dengan

: yang pertama adalah model regresi linier, sedangkan yang terakhir tidak dapat diperkirakan menggunakan regresi linier.

y_{i} = β_{0} + β_{1} x_{i} + β_{2} x_{i}^{2} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + \beta_{2}x_{i}^{2} + \varepsilon_{i}$

y_{i} = β_{0} + β_{1} x_{i} + x_{i}^{β_{2}} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + x_{i}^{\beta_{2}} +\varepsilon_{i}$

— Alexis

28

Sulit bagi saya untuk percaya bahwa Anda mendengar orang mengatakan ini, karena itu akan menjadi hal yang bodoh untuk dikatakan. Ini seperti mengatakan bahwa Anda hanya menggunakan palu (termasuk lubang pengeboran dan untuk mengganti bola lampu), karena mudah digunakan dan memberikan hasil yang dapat diprediksi.

Kedua, regresi linier tidak selalu "dapat ditafsirkan". Jika Anda memiliki model regresi linier dengan banyak istilah polinomial, atau hanya banyak fitur, akan sulit untuk ditafsirkan. Misalnya, Anda menggunakan nilai mentah masing-masing 784 piksel dari MNIST † sebagai fitur. Apakah mengetahui bahwa pixel 237 memiliki bobot sama dengan -2311.67 memberi tahu Anda apa-apa tentang model? Untuk data gambar, melihat peta aktivasi jaringan saraf convolutional akan jauh lebih mudah dipahami.

Akhirnya, ada model yang dapat diinterpretasikan secara setara, misalnya regresi logistik, pohon keputusan, algoritma naif Bayes, dan banyak lagi.

† - Seperti yang diperhatikan oleh Ingolifs dalam komentar, dan seperti yang dibahas dalam utas ini , MNIST mungkin bukan contoh terbaik, karena ini adalah dataset yang sangat sederhana. Untuk sebagian besar dataset gambar yang realistis, regresi logistik tidak akan bekerja dan melihat bobot tidak akan memberikan jawaban langsung. Jika Anda melihat lebih dekat pada bobot pada utas tertaut, maka interpretasinya juga tidak langsung, misalnya bobot untuk memprediksi "5" atau "9" tidak menunjukkan pola yang jelas (lihat gambar di bawah, disalin dari utas lainnya).

— Tim
sumber

2

Jawaban ini menurut saya cukup baik untuk menunjukkan betapa jelasnya regresi logistik pada MNIST.

— Ingolifs

1

@Ingolifs setuju, tetapi ini adalah peta aktivasi, Anda dapat melakukan hal yang sama untuk jaringan saraf.

— Tim

Terlepas dari apa namanya, ini memberikan penjelasan yang jelas tentang apa yang menggunakan regresi logistik untuk membuat keputusan dengan cara yang tidak Anda dapatkan untuk peta aktivasi jaringan saraf.

— Ingolifs

1

@Ingolifs MNIST mungkin bukan contoh terbaik karena sangat sederhana, tetapi intinya adalah Anda akan menggunakan metode yang sama untuk jaringan saraf.

— Tim

11

Pohon Keputusan akan menjadi pilihan lain. Atau Lasso Regression untuk membuat sistem yang jarang.

Lihat gambar ini dari buku Pengantar Pembelajaran Statistik . http://www.sr-sv.com/wp-content/uploads/2015/09/STAT01.png

— Haitao Du
sumber

Apa itu buku "ISL"?

— donlan

1

@donlan amazon.com/... terima kasih atas saran saran yang direvisi.

— Haitao Du

tidak masalah! akan mencarinya setelah membaca utas ini

— donlan

6

Tidak, itu tidak perlu dibatasi. Ada sejumlah besar model yang dapat ditafsirkan termasuk tidak hanya (seperti kata Frans Rodenburg) model linier, model linier umum dan model aditif umum, tetapi juga metode pembelajaran mesin yang digunakan untuk regresi. Saya menyertakan hutan acak, mesin yang didorong gradien, jaringan saraf, dan banyak lagi. Hanya karena Anda tidak mendapatkan koefisien dari model pembelajaran mesin yang mirip dengan yang dari regresi linier tidak berarti bahwa cara kerjanya tidak dapat dipahami. Hanya butuh sedikit lebih banyak pekerjaan.

Untuk memahami alasannya, saya akan merekomendasikan membaca pertanyaan ini: Memperoleh pengetahuan dari hutan acak . Apa yang ditunjukkannya adalah bagaimana Anda dapat membuat hampir semua model pembelajaran mesin dapat ditafsirkan.

— mkt - Pasang kembali Monica
sumber

6

Saya akan setuju dengan jawaban Tim dan mkt - model ML belum tentu tidak dapat diartikan. Saya akan mengarahkan Anda ke Paket Pembelajaran mAchine Deskriptif, DALEX R, yang dikhususkan untuk membuat model ML dapat ditafsirkan.

— babelproofreader
sumber

1

Paket DALEX memang sangat menarik, tahukah Anda jika ada sesuatu yang serupa untuk Python?

— Victor

@ Viktor Saya tidak tahu versi DALEX Python, tetapi Anda bisa mencoba memanggil R dari Python menggunakan rpy2.readthedocs.io/en/version_2.8.x/introduction.html misalnya.

— babelproofreader