Berapakah estimasi kemungkinan maksimum dari kovarians data normal bivariat ketika mean dan varians diketahui?

Misalkan kita memiliki sampel acak dari distribusi normal bivariat yang memiliki nol sebagai mean dan varians, sehingga satu-satunya parameter yang tidak diketahui adalah kovarians. Apa MLE dari kovarian? Saya tahu itu harus seperti tapi bagaimana kita tahu ini? $\frac{1}{n} \sum_{j=1}^{n}x_j y_j$

— Stacy
sumber

Sebagai pemula, bukankah menurut Anda agak tidak pantas untuk memperkirakan nilai dengan dan padahal sebenarnya kita tahu bahwa itu adalah 0 dan 0?

\bar{x}

$\bar{x}$

\bar{y}

$\bar{y}$

— Wolfgang

Sangat tidak pandai, perbaiki. Masih tidak melihat bagaimana ini bisa dengan mudah diikuti. Ini analog dengan varians sampel tetapi mengapa MLE (kecuali jika tidak dan saya membuat kesalahan lain)

— Stacy

Sudahkah Anda menghapus ? Mengambil rumus ini tidak berarti Anda menganggap dan sebagai taksiran rata-rata.

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

\bar{x}

$\bar x$

\bar{y}

$\bar y$

— Stéphane Laurent

@ StéphaneLaurent Ya, di posting awal, rumus diberikan seperti yang Anda tulis.

— Wolfgang

Estimator untuk koefisien korelasi (yang dalam kasus standar normal bivariat sama dengan kovarians)

\tilde{r} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}

$\tilde r = \frac 1n\sum_{i=1}^nx_iy_i$

adalah estimator Method-of-Moments, kovarian sampel. Mari kita lihat apakah itu bertepatan dengan estimator kemungkinan maksimum, . $\hat \rho$

Sendi kepadatan standar bivariat normal dengan koefisien korelasi yaitu $\rho$

f (x, y) = \frac{1}{2 π \sqrt{1 - ρ^{2}}} \exp {- \frac{x^{2} + y^{2} - 2 ρ x y}{2 (1 - ρ^{2})}}

$f(x,y) = \frac{1}{2 \pi \sqrt{1-\rho^2}} \exp\left\{-\frac{x^2 +y^2 -2\rho xy}{2(1-\rho^2)}\right\}$

dan jadi log-kemungkinan sampel iid ukuran adalah $n$

\ln L = - n \ln (2 π) - \frac{n}{2} \ln (1 - ρ^{2}) - \frac{1}{2 (1 - ρ^{2})} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2} - 2 ρ x_{i} y_{i})

$\ln L = -n\ln(2\pi) -\frac n2\ln(1-\rho^2) - \frac 1{2(1-\rho^2)}\sum_{i=1}^n(x_i^2 +y_i^2 -2\rho x_iy_i)$

(Di sini asumsi awal adalah sehubungan dengan masing-masing menarik dari populasi dua dimensi tentu saja)

Mengambil turunan sehubungan dengan dan pengaturan sama dengan nol memberikan 3d derajat polinomial dalam : $\rho$ $\rho$

\hat{ρ} : n {\hat{ρ}}^{3} - (\sum_{i = 1}^{n} x_{i} y_{i}) {\hat{ρ}}^{2} - (1 - \frac{1}{n} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2})) n \hat{ρ} - \sum_{i = 1}^{n} x_{i} y_{i} = 0

$\hat \rho: n\hat \rho^3 -\left(\sum_{i=1}^nx_iy_i\right)\hat\rho^2 -\left(1- \frac 1n\sum_{i=1}^n(x_i^2 +y_i^2) \right)n\hat \rho - \sum_{i=1}^nx_iy_i =0$

Bahwa perhitungannya benar dapat diverifikasi jika seseorang mengambil nilai yang diharapkan dari derivatif dievaluasi pada koefisien sebenarnya akan sama dengan nol. $\rho$

Untuk kekompakan, write , yang merupakan jumlah dari sampel varians dari dan . Jika kita membagi ekspresi turunan-pertama dengan penduga MoM akan muncul, secara khusus $(1/n)\sum_{i=1}^n(x_i^2 +y_i^2) = (1/n)S_2$ $X$ $Y$ $n$

\hat{ρ} : {\hat{ρ}}^{3} - \tilde{r} {\hat{ρ}}^{2} + [(1 / n) S_{2} - 1] \hat{ρ} - \tilde{r} = 0

$\hat \rho: \hat \rho^3 -\tilde r \hat \rho^2 + \big[(1/n)S_2-1\big]\hat \rho -\tilde r=0$

\Rightarrow \hat{ρ} ({\hat{ρ}}^{2} - \tilde{r} \hat{ρ} + [(1 / n) S_{2} - 1]) = \tilde{r}

$\Rightarrow \hat \rho\Big(\hat \rho^2 -\tilde r \hat \rho + \big[(1/n)S_2-1\big] \Big) = \tilde r$

Melakukan aljabar, tidak sulit untuk menyimpulkan bahwa kita akan memperoleh if, dan hanya jika, , yaitu hanya jika demikian halnya jumlah varians sampel sama dengan jumlah varian sejati. Jadi secara umum $\hat \rho = \tilde r$ $(1/n)S_2 =2$

\hat{ρ} \neq \tilde{r}

$\hat \rho \neq \tilde r$

Jadi apa yang terjadi di sini? Seseorang yang lebih bijak akan menjelaskannya, untuk saat ini, mari kita coba simulasi: Saya membuat sampel iid dari dua normals standar dengan koefisien korelasi . Ukuran sampel adalah . Nilai sampel adalah $\rho=0.6$ $n=1.000$

\sum_{i = 1}^{n} x_{i} y_{i} = 522.05, S_{2} = 1913.28

$\sum_{i=1}^nx_iy_i = 522.05,\;\;S_2 = 1913.28$

Estimasi Method-of-Moments memberi kita

\tilde{r} = \frac{522.05}{1000} = 0.522

$\tilde r = \frac {522.05}{1000} = 0.522$

Apa yang terjadi dengan kemungkinan log? Secara visual, sudah

masukkan deskripsi gambar di sini

Secara numerik, sudah

\begin{array}{rrr} ρ & 1st deriv & lnL \\ 0.5 & - 70.92 & - 783.65 \\ 0.51 & - 59.41 & - 782.47 \\ 0.52 & - 47.7 & - 781.48 \\ 0.53 & - 35.78 & - 780.68 \\ 0.54 & - 23.64 & - 780.1 \\ 0.55 & - 11.29 & - 779.75 \\ 0.56 & 1.29 & - 779.64 \\ 0.57 & 14.1 & - 779.81 \\ 0.58 & 27.15 & - 780.27 \\ 0.59 & 40.44 & - 781.05 \\ 0.6 & 53.98 & - 782.18 \end{array}

$\begin{array}{| r | r | r |} \hline \hline ρ&\text{1st deriv}&\text{lnL}\\ \hline 0.5&-70.92&-783.65\\ 0.51&-59.41&-782.47\\ 0.52&-47.7&-781.48\\ 0.53&-35.78&-780.68\\ 0.54&-23.64&-780.1\\ 0.55&-11.29&-779.75\\ 0.56&1.29&-779.64\\ 0.57&14.1&-779.81\\ 0.58&27.15&-780.27\\ 0.59&40.44&-781.05\\ 0.6&53.98&-782.18\\ \hline \end{array}$

dan kita melihat bahwa log-likelihood memiliki tad maksimum sebelum mana juga turunan pertama menjadi nol . Tidak ada kejutan untuk nilai-nilai tidak ditampilkan. Juga, turunan 1 tidak memiliki root lainnya. $\rho=0.56$ $(\hat \rho = 0.558985)$ $\rho$

Jadi simulasi ini sesuai dengan hasil bahwa penaksir kemungkinan maksimum tidak sama dengan metode penaksir momen (yang merupakan kovarians sampel antara dua rv).

Tetapi tampaknya "semua orang" mengatakan bahwa itu harus ... jadi seseorang harus memberikan penjelasan.

MEMPERBARUI

Referensi yang membuktikan bahwa MLE adalah penaksir Metode-of-Moments: Anderson, TW, & Olkin, I. (1985). Estimasi kemungkinan maksimum dari parameter distribusi normal multivarian. Aljabar linier dan penerapannya, 70, 147-171.
Apakah penting bahwa di sini semua cara dan varian bebas untuk bervariasi dan tidak diperbaiki?

... Mungkin ya, karena komentar @ guy dalam jawaban lain (sekarang dihapus) mengatakan bahwa, dengan parameter mean dan varians yang diberikan , bivariat normal menjadi anggota keluarga eksponensial melengkung (dan karenanya beberapa hasil dan properti berubah) ... yang tampaknya menjadi satu-satunya cara yang dapat merekonsiliasi dua hasil.

— Alecos Papadopoulos
sumber

Ini sedikit mengejutkan, tetapi setelah beberapa refleksi itu harus diharapkan. Masalahnya dapat diulangi sebagai estimasi koefisien regresi dalam model mana . Ini bukan model linier, jadi tidak ada alasan untuk mengharapkan MLE menjadi produk titik sederhana. Logika yang sama menunjukkan (saya pikir!) Bahwa jika kita hanya tahu maka MLE adalah , dan jika kita hanya tahu . Jika kami juga tidak tahu, kami mendapatkan penaksir IBU Anda.

ρ

$\rho$

Y = ρ X + ϵ

$Y = \rho X + \epsilon$

ϵ \sim N (0, {\sqrt{1 - ρ^{2}}}^{2})

$\epsilon \sim \mathcal N(0, \sqrt{1 - \rho^2}^2)$

Var (X)

$\mbox{Var}(X)$

x^{'} y / x^{'} x

$x'y / x'x$

x^{'} y / y^{'} y

$x'y / y'y$

Var (Y)

$\mbox{Var}(Y)$

— pria

@ guy: Sangat menarik. Saya pikir argumen ini, jika sedikit diperluas, sepenuhnya pantas diposting sebagai jawaban terpisah!

— amoeba

@ guy Saya tidak berpikir formulasi ini setara, karena, log-kemungkinan dalam pengaturan regresi berisi kuadrat . The koefisien melekat tidak hadir dalam perumusan kepadatan bivariat.

ϵ^{2} = (y - ρ x)^{2} = y^{2} - 2 ρ x y + ρ^{2} x^{2}

$\epsilon^2=(y-\rho x)^2 = y^2 -2\rho xy + \rho^2 x^2$

ρ^{2}

$\rho^2$

x^{2}

$x^2$

— Alecos Papadopoulos

Dugaan saya adalah . Bayangkan dan , maka perkiraan diharapkan.

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

n = 2

$n=2$

y_{1} = y_{2}

$y_1=y_2$

0

$0$

— Stéphane Laurent

@AlecosPapadopoulos . Istilah dibatalkan oleh penyebut , jadi satu-satunya istilah dari data yang berkontribusi dalam kemungkinan log asli Anda adalah . Tapi ini juga langsung dari faktorisasi , . Klaim saya yang lain salah, karena saya lalai memasukkan istilah di dalamnya.

x^{2} + y^{2} - 2 ρ x y = (1 - ρ^{2}) x^{2} + (y - ρ x)^{2}

$x^2 + y^2 - 2\rho x y = (1 - \rho^2) x^2 + (y - \rho x)^2$

(1 - ρ^{2}) x^{2}

$(1 - \rho^2) x^2$

(1 - ρ^{2})

$(1 - \rho^2)$

(y - ρ x)^{2} / (1 - ρ^{2})

$(y - \rho x)^2 / (1 - \rho^2)$

X \sim N (μ_{X}, σ_{X}^{2})

$X \sim N(\mu_X, \sigma^2_X)$

[Y | X] \sim N (μ_{Y} + ρ_{X} \frac{σ_{Y}}{σ_{X}} (X - μ_{X}), σ_{Y | X}^{2} {\sqrt{1 - ρ^{2}}}^{2})

$[Y|X] \sim N(\mu_Y + \rho_X \frac{\sigma_Y}{\sigma_X} (X - \mu_X), \sigma^2_{Y|X} \sqrt{1 - \rho^2}^2)$

σ_{Y} / σ_{X}

$\sigma_Y/\sigma_X$

— pria

Di bawah kondisi yang dinyatakan ( dan ), fungsi kemungkinan untuk sampel acak ukuran adalah $\mu_X = \mu_Y = 0$ $\sigma_X = \sigma_Y = 1$ $n$

L (ρ | X, Y) = \frac{1}{(2 π [1 - ρ^{2}])^{n / 2}} \exp [- \frac{1}{2 (1 - ρ^{2})} (X^{'} X - 2 ρ X^{'} Y + Y^{'} Y)] .

$L(\rho\; |\; X, Y) = \frac{1}{(2\pi[1-\rho^2])^{n/2}}\exp \left[-\frac{1}{2(1-\rho^2)}(X'X - 2\rho X'Y + Y'Y)\right].$

Sekarang temukan kemungkinan log dan ambil turunannya sehubungan dengan . Selanjutnya, atur sama dengan 0, pecahkan untuk . Tentu saja Anda harus melakukan tes yang tepat untuk menunjukkan apa yang Anda temukan sebenarnya adalah global maksimum. $\rho$ $\hat{\rho}$

— Dennis
sumber