Estimasi kemungkinan maksimum parameter lokasi distribusi Cauchy

Saya telah mencapai hingga

$$\frac{d\ln L}{d\mu}=\sum_{i=1}^n \frac{2(x_i-u)}{1+(x_i-u)^2}$$

Dimana $u$adalah parameter lokasi. Dan$L$adalah fungsi kemungkinan. Saya tidak mendapatkan cara untuk melanjutkan. Tolong bantu.

Ok, mari kita katakan pdf untuk cauchy adalah:

$f(x;\theta)=\frac{1}{\pi}\frac{1}{1+(x-\theta)^2}$ sini $\theta$ adalah median, bukan berarti karena untuk Cauchy berarti tidak terdefinisi.

$$L(\theta;x)=\frac{1}{\pi}\frac{1}{1+(x_1-\theta)^2}\frac{1}{\pi}\frac{1}{1+(x_2-\theta)^2}\cdots\frac{1}{\pi}\frac{1}{1+(x_n-\theta)^2}\\=\frac{1}{\pi^n} \frac{1}{\prod[1+(x_i-\theta)^2]}$$

$$\ell(\theta;x)=-n\log\pi-\sum_{i=1}^n\log[1+(x_i-\theta)^2]$$

$$\frac{d\ell(\theta;x)}{d\theta}=\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}$$

Ini persis seperti yang Anda dapatkan, kecuali di sini $\theta$median, bukan berarti. Saya seharusnya$u$ adalah median dalam formula Anda.

Langkah selanjutnya, untuk menemukan mle kita perlu mengatur $\frac{d\ell(\theta;x)}{d\theta} = \sum_{i=1}^n \frac{2(x_i-\theta)}{1+(x_i-\theta)^2}=0$

Sekarang $\theta$ adalah variabel Anda, dan $x_is$ dikenal nilai-nilai, Anda perlu menyelesaikan persamaan $\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}=0$

yaitu untuk memecahkan $\frac{2(x_1-\theta)}{1+(x_1-\theta)^2}+\frac{2(x_2-\theta)}{1+(x_2-\theta)^2}+\cdots+\frac{2(x_n-\theta)}{1+(x_n-\theta)^2}=0$. Tampaknya untuk menyelesaikan persamaan ini akan sangat sulit. Oleh karena itu, kita memerlukan metode Newton-Raphson.

Saya pikir banyak buku kalkulus berbicara tentang metode ini

Rumus untuk metode Newton-Raphson dapat ditulis sebagai

$$\hat{\theta^1}=\hat{\theta^0}-\frac{\ell'(\hat{\theta^0})}{\ell''(\hat{\theta^0})} \tag 1$$

$\hat{\theta^0}$ adalah tebakan awal Anda $\theta$

$\ell'$ adalah turunan pertama dari fungsi kemungkinan log.

$\ell''$ adalah turunan kedua dari fungsi kemungkinan log.

Dari $\hat{\theta^0}$ Anda bisa mendapatkan $\hat{\theta^1}$ maka Anda menempatkan $\hat{\theta^1}$ untuk $(1)$ lalu kamu dapatkan $\hat{\theta^2}$ dan menaruhnya $(1)$ mendapatkan $\hat{\theta^3}$... lanjutkan iterasi ini hingga tidak ada perubahan besar di antara $\hat{\theta^n}$ dan $\hat{\theta^{n-1}}$

Berikut ini adalah fungsi R yang saya tulis untuk mendapatkan distribusi Cauchy.

mlecauchy=function(x,toler=.001){      #x is a vector here
startvalue=median(x)
n=length(x);
thetahatcurr=startvalue;
# Compute first deriviative of log likelihood
firstderivll=2*sum((x-thetahatcurr)/(1+(x-thetahatcurr)^2))
# Continue Newton’s method until the first derivative
# of the likelihood is within toler of 0.001
while(abs(firstderivll)>toler){
# Compute second derivative of log likelihood
 secondderivll=2*sum(((x-thetahatcurr)^2-1)/(1+(x-thetahatcurr)^2)^2);
# Newton’s method update of estimate of theta
thetahatnew=thetahatcurr-firstderivll/secondderivll;
thetahatcurr=thetahatnew;
# Compute first derivative of log likelihood
firstderivll=2*sum((x-thetahatcurr)/(1+(x-thetahatcurr)^2))
}
list(thetahat=thetahatcurr);
}

Sekarang anggaplah data Anda $x_1=1.94,x_2=0.59,x_3=-5.98,x_4=-0.08,x_5-0.77$

x<-c(-1.94,0.59,-5.98,-0.08,-0.77)
mlecauchy(x,0.0001)

Hasil:

#$thetahat
#[1] -0.5343968

Kita juga bisa menggunakan fungsi R build in untuk mendapatkan mle.

optimize(function(theta) -sum(dcauchy(x, location=theta, log=TRUE)),  c(-100,100)) 

#we use negative sign here

Hasil:

#$minimum
#[1] -0.5343902

Hasilnya hampir sama dengan kode buatan sendiri.

---

Oke, seperti yang Anda minta, mari kita lakukan ini dengan tangan.

Pertama kita mendapatkan tebakan awal berupa median data $-5.98, -1.94, -0.77, -0.08, 0.59$

Mediannya adalah $-0.77$

Selanjutnya kita sudah tahu itu $l'(\theta)=\frac{dl(\theta;x)}{d\theta}=\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}$

dan

$$l''(\theta)=\frac{dl^2(\theta;x)}{d(\theta}=\frac{d(\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2})}{d\theta}=2\sum_{i=1}^n\frac{(x_i-\theta)^2-1}{[1+(x_i-\theta)^2]^2}$$

Sekarang kita pasang $\hat{\theta^0}$ yaitu median untuk $l'(\theta)$ dan $l''(\theta)$

yaitu ganti $\theta$ dengan $\hat{\theta^0}$ yaitu median yaitu $-0.77$

$$\begin{align} \ell'(\theta) = {} & \sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2} \\[10pt] = {} &\frac{2[-5.98-(-0.77)]}{1+[(-5.98-(-0.77)^2]} + \frac{2[-1.94-(-0.77)]}{1+[(-1.94-(-0.77)^2]} + \frac{2[-0.77-(-0.77)]}{1+[(-0.77-(-0.77)^2]} \\[6pt] & {} +\frac{2[-0.08-(-0.77)]}{1+[(-0.08-(-0.77)^2]} +\frac{2[0.59-(-0.77)]}{1+[(0.59-(-0.77)^2]}\\[10pt] = {} & \text{??} \end{align}$$

Plug selanjutnya $x_1$ untuk $x_5$ dan $-0.77$ mendapatkan $\ell''(\theta)$ maka kamu bisa mendapatkan $\hat{\theta^1}$

Ok, saya harus berhenti di sini, terlalu sulit untuk menghitung nilai-nilai ini dengan tangan.