Mengapa kemungkinan log harus menuju minus tak terhingga ketika parameter mendekati batas ruang parameter?

Dalam sebuah kuliah baru-baru ini saya diberitahu bahwa, agar estimasi kemungkinan maksimum menjadi valid, kemungkinan log harus menuju minus tak terhingga ketika parameter menuju ke batas ruang parameter. Tetapi saya tidak mengerti mengapa ini penting. Misalkan kemungkinan log masuk ke beberapa jenis asimtot. Maka parameter yang memaksimalkan kemungkinan masih merupakan estimasi kemungkinan maksimum, kan?

maximum-likelihood

— mrz
sumber

(+1). Astaga: jadi jika saya melakukan pemasangan ML dari distribusi Normal ke data saya dan membatasi nilai SD yang mungkin untuk rentang dari hingga dan rata-rata ke kisaran saya kira perkiraan saya tidak lagi valid .... :-). Karena titik akhir tersebut berada di luar kisaran presisi floating point IEEE, itu harus berarti tidak ada yang dapat mempercayai salah satu perangkat lunak statistik yang berjalan pada perangkat komputasi standar. Pasti sudah waktunya bagi kita semua untuk menarik sempoa tua itu (ada di rak dengan slide mist) dan kembali melakukan perhitungan dengan tangan.

10^{- 1000}

$10^{-1000}$

10^{1000}

$10^{1000}$

\pm 10^{1000},

$\pm 10^{1000},$

— whuber

Argumen biasa untuk normalitas asimtotik penduga ML menggunakan asumsi bahwa nilai sebenarnya dari parameter adalah di bagian dalam ruang parameter. Agaknya, asumsi yang Anda bicarakan digunakan untuk membuktikan interioritas ini. Kondisi yang Anda sebutkan jelas tidak penting, dalam arti diperlukan.

— Bill

Apa ruang parameter, apa parameter yang dimaksud, dan distribusi mana? Apa yang dikatakan kepada Anda tidak memiliki banyak informasi penting, agar seseorang dapat menilai validitasnya.

— Alecos Papadopoulos

agar estimasi kemungkinan maksimum menjadi valid, kemungkinan log harus menuju minus tak terhingga ketika parameter menuju ke batas

Ini sama dengan mengatakan, Kemungkinan parameter harus menjadi 0 pada batas ruang parameter agar hasilnya valid.

Yah pertama-tama, Anda dapat membatasi ruang parameter ke nilai yang semuanya memiliki kemungkinan positif dan masih mendapatkan estimasi yang valid.

Kedua, bahkan jika Anda menggunakan, katakanlah , Anda tidak mendekati batas karena setiap paket optimasi dari rak melakukan semacam inisialisasi acak dan kemudian mendekati minimum menggunakan beberapa metode seperti gradien keturunan, gradien konjugat atau lainnya. Dalam kedua kasus tersebut, Anda hampir tidak pernah mendekati batas ruang parameter, jadi saya tidak begitu mengerti mengapa batasan itu penting. $(-\infty,\infty)$

Dan bahkan jika Anda melakukannya dengan sengaja, pada satu titik Anda akan mencapai ketepatan titik mengambang dari sistem operasi Anda. Saya dapat menjamin Anda bahwa pada saat itu, Anda belum benar-benar mendekati batas oleh banyak. :) $-\infty$

Secara pribadi saya menemukan masalah underflow yang timbul ketika menghitung jumlah dan produk dari kemungkinan yang sangat kecil dan trik log sum exp jauh lebih menarik dan masalah yang lebih penting yang sebenarnya sangat penting dalam praktik, tidak seperti mencapai batas-batas ruang parameter.

— berarti-untuk-makna
sumber