Apa yang dimaksud dengan kesalahan standar dari estimasi kemungkinan maksimum?

Saya seorang ahli matematika yang mempelajari statistik dan berjuang terutama dengan bahasa.

Dalam buku yang saya gunakan, ada masalah berikut:

Variabel acak diberikan sebagai -distribusi dengan . (Tentu saja, Anda dapat mengambil distribusi apa pun tergantung pada satu parameter untuk kepentingan pertanyaan ini.) Kemudian sampel lima nilai , , , , diberikan. $X$ $\text{Pareto}(\alpha,60)$ $\alpha>0$ $14$ $21$ $6$ $32$ $2$

Bagian pertama: "Menggunakan metode kemungkinan maksimum, temukan perkiraan $\hat{\alpha}$ dari $\alpha$ berdasarkan [sampel]." Ini tidak masalah. Jawabannya adalah $\hat{\alpha}\approx 4.6931$ .

Tapi kemudian: "Berikan perkiraan kesalahan standar $\hat{\alpha}$ ."

Apa yang dimaksud dengan ini? Karena $\hat{\alpha}$ hanyalah bilangan real yang tetap, saya tidak melihat dengan cara apa ia bisa memiliki kesalahan standar. Apakah saya harus menentukan standar deviasi dari $\text{Pareto}(\hat{\alpha},60)$ ?

Jika Anda pikir pertanyaannya tidak jelas, informasi ini akan membantu saya juga.

maximum-likelihood

— Stefan
sumber

Apa

60

$60$ singkatan?

— Alecos Papadopoulos

Apakah Anda memiliki formula untuk

\hat{α}

$\hat \alpha$ ? Itu akan membantu Anda memperkirakan kesalahan standarnya.

— soakley

@ Glen_b Tetapi jika itu adalah batas bawah bagaimana mungkin semua nilai sampel yang disadari lebih kecil?

— Alecos Papadopoulos

@Alecos Itu poin yang bagus. Komentar saya tidak masuk akal; Saya menghapusnya.

— Glen_b -Reinstate Monica

@Alecos: adalah distribusi dengan densitas .

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

— Stefan

Jawaban:

Jawaban lain telah mencakup derivasi dari kesalahan standar, saya hanya ingin membantu Anda dengan notasi:

Kebingungan Anda disebabkan oleh fakta bahwa dalam Statistik kami menggunakan simbol yang sama persis untuk menunjukkan Estimator (yang merupakan fungsi), dan estimasi spesifik (yang merupakan nilai yang diambil oleh estimator ketika menerima sebagai input sampel realisasi tertentu).

Jadi dan untuk . Jadi adalah fungsi dari variabel acak dan variabel acak itu sendiri, yang tentunya memiliki varian. $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

Dalam estimasi ML, dalam banyak kasus yang dapat kita hitung adalah kesalahan standar asimptotik , karena distribusi sampel terbatas dari estimator tidak diketahui (tidak dapat diturunkan).

Sebenarnya, tidak memiliki distribusi asimptotik, karena konvergen ke bilangan real (angka sebenarnya dalam hampir semua kasus estimasi ML). Tetapi kuantitas konvergen ke variabel acak normal (dengan penerapan Central Limit Theorem). $\hat \alpha$ $\sqrt n (\hat \alpha - \alpha)$

Poin kedua dari kebingungan notasi : sebagian besar, jika tidak semua teks, akan menulis ("Avar" = varians asimptotik ") sedangkan artinya adalah , yaitu mereka merujuk ke varian asimtotik dari kuantitas , bukan dari ... Untuk kasus Pareto dasar distribusi yang kami miliki $\text {Avar}(\hat \alpha)$ $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{n} (\hat{α} - α)] = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

jadi

Avar (\hat{α}) = α^{2} / n

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

(tetapi yang akan Anda temukan tertulis adalah ) $\text {Avar}(\hat \alpha ) = \alpha^2$

Sekarang, dalam arti apa Pengukur memiliki "varian asimtotik", karena seperti yang dikatakan, asimtotik konvergen ke konstanta? Nah, dalam perkiraan dan untuk sampel besar tapi terbatas . Yaitu di suatu tempat di antara sampel "kecil", di mana Pengukur adalah variabel acak dengan (biasanya) distribusi yang tidak diketahui, dan sampel "tak terbatas", di mana penaksirnya konstan, ada "wilayah sampel besar tapi terbatas" di mana Estimator belum menjadi konstanta dan di mana distribusi dan variansnya diturunkan secara bundaran, dengan terlebih dahulu menggunakan Teorema Limit Sentral untuk memperoleh distribusi asimtotik yang tepat dari kuantitas $\hat \alpha$ $Z = \sqrt n (\hat \alpha - \alpha)$ (yang normal karena CLT), dan kemudian membalikkan keadaan dan menulis (sambil mengambil satu langkah mundur dan memperlakukan sebagai terbatas) yang menunjukkan sebagai fungsi affine dari variabel acak normal , dan biasanya terdistribusi sendiri (selalu kurang-lebih). $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

— Alecos Papadopoulos
sumber

+1 untuk membedakan antara dan - tentu saja notasinya dapat tidak konsisten.

\hat{α}

$\hat{\alpha}$

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

— Nate Pope

$\hat{\alpha}$ - penaksir kemungkinan maksimum - adalah fungsi dari sampel acak, dan juga acak (tidak tetap). Perkiraan kesalahan standar dapat diperoleh dari informasi Fisher, $\hat{\alpha}$

I (θ) = - E [\frac{\partial^{2} L (θ | Y = y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

Di mana adalah parameter dan adalah fungsi log-likelihood dari bersyarat pada sampel acak . Secara intuitif, informasi Fisher menunjukkan kecuraman kelengkungan permukaan log-kemungkinan di sekitar MLE, dan juga jumlah 'informasi' yang Anda tentang . $\theta$ $\mathcal{L}(\theta|Y = y)$ $\theta$ $y$ $y$ $\theta$

Untuk distribusi dengan realisasi tunggal , log-kemungkinan di mana diketahui: $\mathrm{Pareto}(\alpha,y_0)$ $Y = y$ $y_0$

\begin{aligned} L (α | y, y_{0}) & = \log α + α \log y_{0} - (α + 1) \log y \\ L^{'} (α | y, y_{0}) & = \frac{1}{α} + \log y_{0} - \log y \\ L^{″} (α | y, y_{0}) & = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$ Memasukkan ke definisi informasi Fisher, Untuk sampel Estimasi kemungkinan maksimum didistribusikan secara asimptotik sebagai: Di mana adalah ukuran sampel. Karena tidak diketahui, kita bisa pasang

I (α) = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$

\hat{α}

$\hat{\alpha}$

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) = N (α, \frac{α^{2}}{n}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$

n

$n$

α

$\alpha$

\hat{α}

$\hat{\alpha}$ untuk mendapatkan perkiraan kesalahan standar:

S E (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / n} \approx \sqrt{{4.6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

— Nate Pope
sumber

Untuk baris kedua hingga terakhir Anda, , tidak muncul notasi yang benar. Jika , maka tidak dapat muncul di sisi kanan. Alih-alih, Anda ingin

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$

n \to \infty

$n \to \infty$

n

$n$

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$

— user321627