Menggunakan MLE vs OLS

Kapan lebih baik menggunakan Estimasi Kemungkinan Maksimum alih-alih Kuadrat Terkecil Biasa? Apa kekuatan dan keterbatasan masing-masing? Saya mencoba untuk mengumpulkan pengetahuan praktis tentang di mana harus menggunakan masing-masing dalam situasi umum.

regression maximum-likelihood least-squares

— pengguna38133
sumber

Seperti yang dijelaskan di sini , OLS hanyalah contoh khusus MLE. Berikut ini adalah pertanyaan terkait erat, dengan derivasi OLS dalam hal MLE.

Distribusi bersyarat sesuai dengan model derau Anda (untuk OLS: Gaussian dan distribusi yang sama untuk semua input). Ada pilihan lain (t-Siswa untuk berurusan dengan outlier, atau membiarkan distribusi noise bergantung pada input )

— jpmuc
sumber

(-1) Tidak benar siswa itu

t

$t$ dapat diandalkan untuk berurusan dengan pencilan . Lihat contoh di sini atau bab 2 buku teks ini untuk penjelasan lebih lanjut.

— user603

OLS adalah metode aproksimasi / estimasi jarak-meminimalkan, sedangkan ML adalah metode maksimalisasi "kemungkinan". OLS tidak memerlukan asumsi stokastik untuk memberikan solusi meminimalkan jaraknya, sementara ML mulai dengan mengasumsikan kepadatan probabilitas gabungan / fungsi massa. Fakta bahwa dalam beberapa keadaan keduanya memberikan solusi yang sama, sama sekali tidak menjadikan keduanya satu contoh khusus dari yang lain.

— Alecos Papadopoulos