Mengapa Regresi Logistik tidak disebut Klasifikasi Logistik?

75

Karena Regresi Logistik adalah model klasifikasi statistik yang berhubungan dengan variabel dependen kategorikal, mengapa tidak disebut Klasifikasi Logistik ? Bukankah seharusnya nama "Regresi" dicadangkan untuk model yang berhubungan dengan variabel dependen kontinu?

— Ismael Ghalimi
sumber

5

Regresi logistik termasuk dalam keluarga model GLM.

— Stéphane Laurent

10

Anda dapat menggunakannya untuk mengembalikan probabilitas.

— Emre

25

Sementara regresi logistik tentu dapat digunakan untuk klasifikasi dengan memperkenalkan ambang batas pada probabilitas yang dikembalikan, itu hampir tidak hanya digunakan - atau bahkan penggunaan utamanya. Ini dikembangkan untuk - dan terus digunakan untuk - tujuan regresi yang tidak ada hubungannya dengan klasifikasi. Saya berpendapat bahwa ini masih mudah digunakan untuk apa, tapi saya kira itu tergantung pada apa yang Anda lihat.

— Glen_b

6

Anda mungkin menemukan makalah ini tentang pengembangan regresi logistik menarik, terutama karena itu memang memberikan semacam rasa masalah yang digunakan untuk teknik regresi.

— Glen_b

102

Regresi logistik dengan tegas bukan algoritma klasifikasi sendiri. Ini hanya algoritma klasifikasi dalam kombinasi dengan aturan keputusan yang membuat dikotomis probabilitas hasil yang diprediksi. Regresi logistik adalah model regresi karena memperkirakan probabilitas keanggotaan kelas sebagai (transformasi a) fungsi multilinear dari fitur.

Frank Harrell telah memposting sejumlah jawaban di situs web ini yang menyebutkan jebakan mengenai regresi logistik sebagai algoritma klasifikasi. Diantara mereka:

Klasifikasi adalah suatu keputusan . Untuk membuat keputusan yang optimal, Anda perlu menilai fungsi utilitas, yang menyiratkan bahwa Anda perlu memperhitungkan ketidakpastian dalam hasil, yaitu probabilitas. ≈
Biaya kesalahan klasifikasi tidak seragam di semua unit.
Jangan gunakan cutoffs.
Gunakan aturan penilaian yang tepat.
Masalahnya sebenarnya estimasi risiko, bukan klasifikasi.

Jika saya ingat dengan benar, dia pernah menunjuk saya ke bukunya tentang strategi regresi untuk penjelasan lebih lanjut tentang poin-poin ini (dan banyak lagi!), Tetapi saya sepertinya tidak dapat menemukan posisi tersebut.

— Pasang kembali Monica
sumber

1

Jika itu masalahnya, semua (atau sebagian besar) pengklasifikasi memprediksi probabilitas untuk berada di dalam kelas terlebih dahulu (sejauh yang saya tahu) dan kemudian mengubah prob ini ke kelas .. Bukan?

— Outlier

9

@Otlier Counterexample Sebelumnya: SVM tidak menghitung probabilitas kelas sama sekali, itu hanya mengukur jarak antara pengamatan dan hyperplane.

— Pasang kembali Monica

@ Sebelumnya dalam ML ini disebut pengklasifikasi probabilistik; pohon dan hutan acak tidak, xgboost adalah - setidaknya dengan logloss)

— seanv507

12

Secara abstrak, regresi adalah masalah penghitungan ekspektasi bersyarat . Bentuk yang diambil oleh harapan ini berbeda tergantung pada asumsi bagaimana data dihasilkan: $E[Y|X=x]$

Dengan asumsi (Y | X = x) terdistribusi normal dengan regresi linier klasik.
Dengan asumsi distribusi Poisson menghasilkan regresi Poisson.
Dengan asumsi distribusi Bernoulli menghasilkan regresi logistik.

Istilah "regresi" juga telah digunakan secara lebih umum dari ini, termasuk pendekatan seperti regresi kuantil, yang memperkirakan jumlah tertentu . $(Y|X=x)$

— Chad Scherrer
sumber

-3

Terlepas dari jawaban yang sudah diberikan dengan baik, pandangan lain adalah bahwa Regresi logistik memprediksi probabilitas (yang merupakan nilai kontinu ) yang telah berkisar antara 0 hingga 1.

— krish___na
sumber