Teorema umum untuk konsistensi dan normalitas asimptotik dari kemungkinan maksimum

Saya tertarik pada referensi yang baik untuk hasil mengenai sifat asimptotik dari penduga kemungkinan maksimum. Pertimbangkan model mana adalah kepadatan -dimensi, dan \ hat \ theta_n adalah MLE berdasarkan sampel X_1, \ ldots, X_n dari f_n (\ cdot \ mid \ theta_0) di mana \ theta_0 adalah nilai \ true dari \ theta . Ada dua penyimpangan yang saya minati.f n ( x | θ ) n θ n X 1 , ... , X n f n ( ⋅ | θ 0 ) θ 0$\{f_n(\cdot \mid \theta): \theta \in \Theta, n \in \mathbb N\}$$f_n(\mathbf x \mid \theta)$$n$$\hat \theta_n$$X_1, \ldots, X_n$$f_n(\cdot \mid \theta_0)$$\theta_0$$\theta$

1. Data $X_1, \ldots, X_n$ tidak iid dan, sebagai hasilnya, informasi Fisher tentang $\theta$ bertambah lebih lambat daripada $n$ .
2. $\Theta$ adalah set terikat, dan dengan probabilitas positif $\hat \theta_n$ terletak pada batas. Batas sesuai dengan model "sederhana", dan ada minat khusus pada apakah $\theta_0$ terletak pada batas.

Pertanyaan khusus saya adalah

1. Membiarkan $J_n(\theta)$ menunjukkan informasi Fisher yang diamati terkait dengan $\theta$ , dan misalkan $\theta_0$ terletak di bagian dalam $\Theta$ . Dalam kondisi apa

   $$\left[J_n(\hat \theta_n)\right]^{1/2}(\hat \theta_n - \theta_0)$$ asimtotik normal seperti $n \to \infty$ ? Secara khusus, apakah kondisi keteraturan mirip dengan yang biasa, dengan modifikasi yang relevan adalah $J_n(\hat \theta_n) \to \infty$ dalam arti tertentu?

2. Misalkan alih-alih berada pada batas, dan sekali lagi ingat bahwa terjadi dengan probabilitas positif - untuk konkret, dalam model efek campuran kita dapat memiliki . Dalam kondisi apa (hampir pasti atau dalam probabilitas) dan dalam kondisi apa akhirnya akhirnya (ini mungkin gagal untuk model efek campuran, tetapi sesuai dengan properti "oracle" untuk LASSO dan penaksir terkait, jadi mungkin terlalu banyak untuk meminta hasil umum)?θ n = θ 0 Y i j = μ + β i + ε i j σ 2 β = 0 θ n → θ 0 θ n = θ $\theta_0$$\hat \theta_n = \theta_0$$Y_{ij} = \mu + \beta_i + \epsilon_{ij}$$\hat \sigma_{\beta}^2 = 0$$\hat \theta_n \to \theta_0$$\hat \theta_n = \theta_0$

Sekali lagi, hanya sebuah penunjuk ke teks dengan hasil pada tingkat umum ini akan sangat dihargai.

Referensi Anda dapat mulai dari:

Untuk kasus di mana parameter sebenarnya terletak pada batas :
Moran (1971) "Estimasi kemungkinan maksimum dalam kondisi tidak standar"

Steven G. Self dan Kung-Yee Liang (1987) "Sifat Asimptotik Estimator Kemungkinan Maksimum dan Uji Rasio Kemungkinan di Bawah Kondisi Tidak Standar"

Ziding Feng dan Charles E. McCulloch (1990) "Inferensi Statistik Menggunakan Estimasi Kemungkinan Maksimum dan Rasio Kemungkinan Likelensial ketika Parameter Sejati berada di Batas Ruang Parameter"

Untuk rv non-identik tetapi independen :
Bruce Hoadley (1971) "Properti Asimptotik Pengukur Kemungkinan Maksimum untuk Kasus Independen yang Tidak Didistribusikan Secara Identik"

Untuk variabel dependen:
Martin J. Crowder (1976) "Estimasi Kemungkinan Maksimum untuk Pengamatan yang Tergantung"

Juga

Huber, PJ (1967). "Perilaku perkiraan kemungkinan maksimum dalam kondisi tidak standar" . Dalam Prosiding simposium Berkeley kelima pada statistik matematika dan probabilitas (Vol. 1, No. 1, hal. 221-233).

Pembaruan 17-03-2017: seperti yang disarankan dalam komentar, makalah berikut dapat dirujuk di sini

Andrews, DW (1987). Konsistensi dalam model ekonometrik nonlinear: Hukum seragam generik dalam jumlah besar. Econometrica: Jurnal Masyarakat Ekonometrik, 1465-1471.