Definisi regresi

Dari Wikipedia:

Dalam pemodelan statistik, analisis regresi adalah proses statistik untuk memperkirakan hubungan antar variabel. Ini mencakup banyak teknik untuk memodelkan dan menganalisis beberapa variabel, ketika fokusnya adalah pada hubungan antara variabel dependen dan satu atau lebih variabel independen (atau 'prediktor').

Tidak sama dengan klasifikasi ? Pada akhirnya, bukankah itu tujuan pembelajaran mesin ?

Regresi jauh lebih luas dalam tujuan dan ruang lingkup daripada klasifikasi atau pembelajaran mesin (namun yang terakhir mungkin dipahami). Namun, ada banyak tumpang tindih.

Hubungan

Hubungan yang dianalisis dengan regresi dapat terdiri dari

• Asosiasi

• Ketergantungan

• Hal menyebabkan

Klasifikasi memberikan informasi tentang dua yang pertama, tetapi diam tentang sebab akibat. Baik regresi dan pembelajaran mesin telah digunakan - terkadang berhasil, seringkali bermasalah - untuk menarik kesimpulan tentang sebab-akibat.

Tujuan Regresi

1. Untuk mendapatkan ringkasan data multivarian.

2. Untuk menyisihkan efek variabel yang mungkin membingungkan masalah.

3. Berkontribusi pada upaya analisis kausal.

4. Ukur ukuran efek.

5. Cobalah untuk menemukan hukum matematika atau empiris.

6. Ramalan.

7. Pengecualian: mendapatkan "keluar dari jalan" ketika kita ingin mempelajari hubungan antara dua variabel lain yang mungkin dipengaruhi oleh .$x$$x$

(Setelah Mosteller & Tukey, Analisis dan Regresi Data, Bab 12B.)

Klasifikasi hampir tidak mencapai tujuan ini. Dalam cara yang terbatas itu mungkin memberikan semacam ringkasan (1) dan membantu dengan penemuan (5).

Pembelajaran mesin bertujuan untuk prediksi (6) hampir secara eksklusif. Sebagian besar teknik pembelajaran mesin, mulai dari hutan acak melalui jaringan saraf untuk mendukung model vektor, tidak jelas untuk pemahaman: mereka secara khusus tidak bertujuan untuk meringkas data (1), menghilangkan efek dari variabel pengganggu (2 dan 7), atau membantu kami menemukan keteraturan yang dapat diwujudkan dalam hukum empiris (5).

Posting ini adalah sedikit perluasan dari presentasi pengantar yang saya buat baru-baru ini untuk kursus semester dalam regresi. Lebih banyak bahan mengenai tujuan dan praktik regresi tersedia di sana.