Apakah MLE memerlukan data iid? Atau hanya parameter independen?

16

Memperkirakan parameter menggunakan estimasi likelihood maksimum (MLE) melibatkan mengevaluasi fungsi likelihood, yang memetakan probabilitas sampel (X) yang terjadi pada nilai (x) pada ruang parameter (family) yang diberikan keluarga distribusi (P (X = x | θ ) lebih dari nilai yang mungkin dari θ (catatan: apakah saya benar tentang ini?). Semua contoh yang saya lihat melibatkan perhitungan P (X = x | θ) dengan mengambil produk dari F (X) di mana F adalah distribusi dengan lokal nilai untuk θ dan X adalah sampel (vektor).

Karena kita hanya mengalikan data, apakah ini berarti data itu independen? Misalnya, bisakah kita tidak menggunakan MLE agar sesuai dengan data deret waktu? Atau apakah parameter hanya harus independen?

maximum-likelihood

— Felix
sumber

14

Fungsi kemungkinan didefinisikan sebagai probabilitas suatu peristiwa $E$ (kumpulan data ) sebagai fungsi dari parameter model ${\bf x}$ $\theta$

L (θ; x) \propto P (Event E; θ) = P (observing x; θ) .

${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$

Karena itu, tidak ada asumsi independensi pengamatan. Dalam pendekatan klasik tidak ada definisi untuk independensi parameter karena mereka bukan variabel acak; beberapa konsep terkait dapat berupa pengidentifikasian , ortogonalitas parameter , dan independensi Pengukur Kemungkinan Maksimum (yang merupakan variabel acak).

Beberapa contoh,

(1) Kasus diskrit . adalah contoh dari pengamatan terpisah (independen) dengan , lalu ${\bf x}=(x_1,...,x_n)$ ${\mathbb P}(\text{observing } x_j ; \theta)>0$

L (θ; x) \propto \prod_{j = 1}^{n} P (observing x_{j}; θ) .

${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$

Khususnya, jika , dengan diketahui, kita memiliki itu $x_j\sim \text{Binomial}(N,\theta)$ $N$

L (θ; x) \propto \prod_{j = 1}^{n} θ^{x_{j}} (1 - θ)^{N - x_{j}} .

${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$

(2) Perkiraan terus menerus . Biarkan menjadi sampel dari variabel acak kontinu , dengan distribusi dan kepadatan , dengan kesalahan pengukuran , ini, Anda mengamati set . Kemudian ${\bf x}=(x_1,...,x_n)$ $X$ $F$ $f$ $\epsilon$ $(x_j-\epsilon,x_j+\epsilon)$

\begin{array}{rcl} L (θ; x) \propto \prod_{j = 1}^{n} P [observing (x_{j} - ϵ, x_{j} + ϵ); θ] = \prod_{j = 1}^{n} [F (x_{j} + ϵ; θ) - F (x_{j} - ϵ; θ)] \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$

Ketika kecil, ini dapat diperkirakan (menggunakan Teorema Nilai Rata-Rata) oleh $\epsilon$

\begin{array}{rcl} L (θ; x) \propto \prod_{j = 1}^{n} f (x_{j}; θ) \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$

Untuk contoh dengan case normal, lihat ini .

(3) Model Dependent dan Markov . Misalkan adalah seperangkat pengamatan yang mungkin bergantung dan biarkan menjadi densitas gabungan dari , maka ${\bf x}=(x_1,...,x_n)$ $f$ ${\bf x}$

\begin{array}{rcl} L (θ; x) \propto f (x; θ) . \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$

Jika tambahan properti Markov terpenuhi, maka

\begin{array}{rcl} L (θ; x) \propto f (x; θ) = f (x_{1}; θ) \prod_{j = 1}^{n - 1} f (x_{j + 1} | x_{j}; θ) . \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$

Lihatlah juga ini .

— Komunitas
sumber

3

Dari Anda menulis fungsi kemungkinan sebagai produk, Anda secara implisit mengasumsikan struktur ketergantungan di antara pengamatan. Jadi untuk MLE satu membutuhkan dua asumsi (a) satu pada distribusi setiap hasil individu dan (b) satu pada ketergantungan di antara hasil.

10

(+1) Pertanyaan yang sangat bagus.

Hal kecil, MLE berarti estimasi kemungkinan maksimum (bukan multipel), yang berarti Anda hanya memaksimalkan kemungkinan. Ini tidak menentukan bahwa kemungkinan harus dihasilkan oleh IID sampling.

Jika ketergantungan pengambilan sampel dapat ditulis dalam model statistik, Anda cukup menuliskan kemungkinannya dan memaksimalkannya seperti biasa.

Satu kasus yang layak disebutkan ketika Anda tidak menganggap ketergantungan adalah bahwa dari pengambilan sampel Gaussian multivarian (dalam analisis deret waktu misalnya). Ketergantungan antara dua variabel Gaussian dapat dimodelkan dengan istilah kovariannya, yang Anda masukkan ke dalam kemungkinan.

Untuk memberikan contoh sederhana, asumsikan bahwa Anda mengambil sampel ukuran dari variabel Gaussian berkorelasi dengan mean dan varians yang sama. Anda akan menuliskan kemungkinan sebagai $2$

\frac{1}{2 π σ^{2} \sqrt{1 - ρ^{2}}} \exp (- \frac{z}{2 σ^{2} (1 - ρ^{2})}),

$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$

dimana adalah $z$

z = (x_{1} - μ)^{2} - 2 ρ (x_{1} - μ) (x_{2} - μ) + (x_{2} - μ)^{2} .

$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$

Ini bukan produk dari kemungkinan individu. Namun, Anda akan memaksimalkan ini dengan parameter untuk mendapatkan MLE mereka. $(\mu, \sigma, \rho)$

— gui11aume
sumber

2

Ini adalah jawaban dan contoh yang bagus. Satu-satunya hal yang saya tambahkan untuk melihat ini dalam istilah sederhana adalah bahwa estimasi kemungkinan hanya mensyaratkan bahwa model untuk generasi data ditentukan dalam beberapa parameter yang tidak diketahui dijelaskan dalam bentuk fungsional.

— Michael R. Chernick

(+1) Benar sekali! Apakah Anda memiliki contoh model yang tidak dapat ditentukan dalam istilah itu?

— gui11aume

@ gu11aume saya pikir Anda mengacu pada komentar saya. Saya akan mengatakan bahwa saya tidak memberikan jawaban langsung untuk pertanyaan itu. Jawaban atas pertanyaannya adalah ya karena ada contoh yang dapat ditunjukkan di mana fungsi kemungkinan dapat diekspresikan ketika data dibuat oleh variabel acak dependen.

— Michael R. Chernick

2

Contoh di mana hal ini tidak dapat dilakukan adalah ketika data diberikan tanpa deskripsi mekanisme penghasil data atau model tidak disajikan dalam bentuk parametrik seperti ketika Anda diberi dua set data id dan diminta untuk menguji apakah data tersebut berasal dari distribusi yang sama di mana Anda hanya menentukan bahwa distribusinya benar-benar kontinu.

— Michael R. Chernick

4

Tentu saja, model Gaussian ARMA memiliki kemungkinan, karena fungsi kovariansnya dapat diturunkan secara eksplisit. Ini pada dasarnya adalah perpanjangan dari jawaban guiame untuk lebih dari 2 pengamatan. Googling minimal menghasilkan kertas seperti ini di mana kemungkinan diberikan dalam bentuk umum.

Kelas contoh lain, sampai batas tertentu, lebih menarik, diberikan oleh model efek acak bertingkat . Jika Anda memiliki data formulir mana indeks bersarang di (pikirkan siswa di ruang kelas , katakanlah, untuk aplikasi klasik model bertingkat), kemudian, dengan asumsi , kemungkinannya adalah

y_{i j} = x_{i j}^{'} β + u_{i} + ϵ_{i j},

$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$

j

$j$

i

$i$

j

$j$

i

$i$

ϵ_{i j} ⊥ u_{i}

$\epsilon_{ij} \perp u_i$

\ln L \sim \sum_{i} \ln \int \prod_{j} f (y_{i j} | β, u_{i}) d F (u_{i})

$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$ dan merupakan jumlah dari kontribusi kemungkinan yang ditetapkan pada tingkat kelompok, bukan pengamatan individu. (Tentu saja, dalam kasus Gaussian, Anda dapat mendorong integral sekitar untuk menghasilkan solusi analitik ANOVA. Namun, jika Anda telah mengatakan model logit untuk respons Anda , maka tidak ada jalan keluar dari integrasi numerik .)

y_{i j}

$y_{ij}$

— Tugas
sumber

2

Stask dan @ gui11aume, ketiga jawaban ini bagus tapi saya pikir mereka kehilangan satu poin: bagaimana dengan konsistensi MLE untuk data dependen?

— Stéphane Laurent