Saya menemukan bahwa untuk model regresi linier sederhana, baik OLS dan metode kemungkinan maksimum (dengan asumsi distribusi Normal) memberikan output yang sama (nilai parameter). Dari sini, dapatkah kita mengatakan bahwa OLS juga membuat asumsi implisit tentang distribusi Normal atau sebaliknya? Saya tidak tertarik mengapa keduanya menghasilkan nilai yang sama tetapi yang mana yang membuat asumsi yang kurang ketat tentang data?
Jawaban:
OLS tidak membuat asumsi normalitas untuk kesalahan model. OLS dapat digunakan dengan asumsi distribusi yang berbeda dan estimator akan tetap masuk akal sebagai estimator linier tidak bias varians minimum.
Kemungkinan maksimum (ML) juga dapat mengakomodasi distribusi yang berbeda, tetapi distribusinya harus dipilih terlebih dahulu. Jika distribusi aktual tampaknya berbeda dari distribusi yang diasumsikan, estimator ML tidak akan lagi masuk akal sebagai estimator yang memaksimalkan kepadatan probabilitas gabungan dari data.
Dengan demikian kita dapat mengatakan bahwa dalam aplikasi tertentu ML membuat asumsi yang lebih ketat tentang kesalahan model daripada OLS.