Saya membaca dalam buku pembelajaran mesin bahwa parameter regresi linier dapat diperkirakan (antara metode lain) dengan gradient descent, sedangkan parameter regresi logistik biasanya diestimasi dengan estimasi kemungkinan maksimum.
Apakah mungkin untuk menjelaskan kepada seorang pemula (saya) mengapa kita memerlukan metode yang berbeda untuk regresi linier / logistik. alias mengapa tidak MLE untuk regresi linier dan mengapa tidak gradient descent untuk regresi logistik?
Jawaban:
Anda membingungkan apel dengan jeruk. Tidak apa-apa, karena keduanya enak.
Estimasi kemungkinan maksimum adalah tentang apa yang Anda meminimalkan, gradient descent adalah tentang bagaimana Anda menguranginya.
Mengapa tidak MLE untuk regresi linier?
Bahkan, regresi linier yang diselesaikan dengan estimasi kemungkinan maksimum. Metode standar "perkecil jumlah kesalahan kuadrat" secara matematis setara dengan estimasi kemungkinan maksimum menggunakan distribusi normal bersyarat.
Mengapa bukan gradient descent untuk regresi logistik?
Anda benar-benar dapat menyelesaikan regresi logistik dengan meminimalkan fungsi kemungkinan menggunakan gradient descent. Ini sebenarnya latihan yang hebat, dan saya sarankan semua orang melakukannya setidaknya sekali.
Keturunan gradien bukanlah metode standar. Hadiah itu pergi ke iteratif ulang kuadrat terkecil / metode Newton , yang merupakan peningkatan gradien keturunan yang memperhitungkan turunan kedua juga. Metode ini ternyata memiliki sifat yang jauh lebih baik daripada gradient descent, tetapi lebih sulit untuk dipahami dan diimplementasikan.