Mengapa MLE masuk akal, mengingat probabilitas sampel individu adalah 0?

Ini semacam pemikiran aneh yang saya miliki ketika meninjau beberapa statistik lama dan untuk beberapa alasan saya sepertinya tidak bisa memikirkan jawabannya.

PDF kontinu memberi tahu kita kepadatan nilai pengamatan dalam rentang tertentu. Yaitu, jika $X \sim N(\mu,\sigma^2)$ , misalnya, maka probabilitas bahwa realisasi jatuh antara $a$ dan $b$ hanyalah $\int_a^{b}\phi(x)dx$ mana $\phi$ adalah kepadatan standar normal.

Ketika kita berpikir tentang melakukan perkiraan MLE dari parameter, mengatakan dari $\mu$ , kita menulis kepadatan bersama, mengatakan $N$ , variabel acak $X_1 .. X_N$ dan bedakan log-likelihood wrt ke $\mu$ , atur sama dengan 0 dan pecahkan untuk$\mu$ . Interpretasi yang sering diberikan adalah "diberikan data, yang parameternya membuat fungsi kerapatan ini paling masuk akal".

Bagian yang menggangguku adalah ini: kami memiliki kepadatan $N$ rv, dan probabilitas bahwa kami mendapatkan realisasi tertentu, katakan sampel kami, adalah tepat 0. Mengapa bahkan masuk akal untuk memaksimalkan kepadatan bersama yang diberikan data kami ( karena sekali lagi probabilitas untuk mengamati sampel aktual kita adalah tepat 0)?

Satu-satunya rasionalisasi yang dapat saya buat adalah bahwa kami ingin membuat PDF memuncak sebanyak mungkin di sekitar sampel yang kami amati sehingga integral di wilayah tersebut (dan karena itu kemungkinan mengamati hal-hal di wilayah ini) adalah yang tertinggi.

Probabilitas setiap sampel, $\mathbb{P}_\theta(X=x)$ , sama dengan nol dan satu sampel diwujudkan dengan menggambar dari distribusi probabilitas. Oleh karena itu probabilitas adalah alat yang salah untuk mengevaluasi sampel dan kemungkinan itu terjadi. Kemungkinan statistik, seperti yang didefinisikan oleh Fisher (1912), didasarkan pada argumen pembatas dari kemungkinan mengamati sampel $x$ dalam interval panjang $\delta$ ketika $\delta$ pergi ke nol (mengutip dari Aldrich, 1997) :

$\qquad\qquad\qquad$

ketika menormalkan kembali probabilitas ini dengan $\delta$ . Istilah fungsi kemungkinan hanya diperkenalkan di Fisher (1921) dan kemungkinan maksimum di Fisher (1922).

Meskipun ia pergi di bawah denominasi "nilai yang paling mungkin", dan menggunakan prinsip probabilitas terbalik (inferensi Bayesian) dengan flat sebelumnya, Carl Friedrich Gauß telah mendapatkan di tahun 1809 penaksir kemungkinan maksimum untuk parameter varians dari distribusi Normal. Hald (1999) menyebutkan beberapa kejadian lain dari penduga kemungkinan maksimum sebelum makalah Fisher 1912, yang menetapkan prinsip umum.

Pembenaran selanjutnya dari pendekatan kemungkinan maksimum adalah bahwa, karena kemungkinan log yang dinormalisasi ulang sampel $(x_1,\ldots,x_n)$

$$\frac{1}{n} \sum_{i=1}^n \log f_\theta(x_i)$$ konvergen ke [Hukum Bilangan Besar] $$\mathbb{E}[\log f_\theta(X)]=\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ (di mana$f_0$ menunjukkan kepadatan sebenarnya dari sampel iid), memaksimalkan kemungkinan [sebagai fungsi$\theta$ ] secara asimtotik setara dengan meminimalkan [dalam$\theta$ ] divergensi Kullback-Leibler $$\int \log \dfrac{f_0(x)}{f_\theta(x)}\, f_0(x)\,\text{d}x=\underbrace{\int \log f_0(x)\,f_0(x)\,\text{d}x}_{\text{constant}\\\text{in }\theta}-\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ $f_\theta$