Kondisi untuk estimator M untuk konvergen ke mean sebenarnya

10

Diberikan sampel pertama dari distribusi gaussian dan penaksir-M, , properti apa di yang cukup untuk menjamin dalam probabilitas? Apakah menjadi cembung dan ketat meningkat cukup? $X_1,...,X_n \sim N(\mu,\sigma)$ $\mu_m = \underset{a}{\operatorname{argmin}} \sum\rho(|X_i-a|)$ $\rho$ $\mu_m \rightarrow \mu$ $\rho$

estimation

— Ulat
sumber

Karena Anda dapat mengambil dan kemudian adalah rata-rata sampel, itu berarti bisa saja tidak sepenuhnya cembung, tetapi benar-benar meningkat ya, jadi ... Saya akan meletakkan cembung atau meningkat secara ketat, keduanya sepertinya sudah cukup, meski masih harus membuktikan ini. Konveksitas ketat yang intuitif memastikan minimum global yang unik, karena secara ketat meningkatkannya adalah asumsi gaussianity yang penting.

ρ (x) = x

$\rho(x) = x$

μ_{m}

$\mu_m$

— Dmitrij Celov

1

Makalah Asimtotik untuk peminimal proses cembung oleh Hjort dan Pollard dapat membantu di sini, meskipun tidak mengkhususkan pada distribusi Gaussian, dan menganggap bentuk yang lebih umum dari fungsi kontras, yaitu , meskipun notasinya adalah . Selain konveksitas dalam , mereka membutuhkan perluasan dalam sekitar , dalam arti tertentu yang terkait dengan distribusi data. Jadi, tidak sesederhana hanya mengatakan yang cembung atau meningkat, tetapi mungkin jika Anda membatasi teorema ke distribusi Gaussian dan $\rho(x,a)$ $g(y,t)$ $g$ $t$ $g$ $t$ $\theta_0$ $\rho$ $g$ untuk mendapatkan formulir yang Anda tentukan, Anda bisa mendapatkan serangkaian kondisi yang lebih rapi. Saya akan menulis ulang teorema mereka di sini untuk kelengkapan, sedikit diparafrasekan:

Misalkan kita punya

$Y,Y_{1},Y_{2},\ldots$ iid from distribution $F$
Parameter yang diminati $\theta_{0}=\theta(F)\in\cal{R}^{p}$
$\theta_{0}\in\arg\min_{t\in\cal{R}^{p}}\mathbb{E} g(Y,t)$ , di mana adalah cembung pada . $g(y,t)$ $t$
Kami memiliki "ekspansi lemah" di sekitar : untuk dengan rata-rata nol di bawah dan untuk matriks positif yang pasti . $g(y,t)$ $t$ $\theta_{0}$ $g (y, θ_{0} + t) - g (y, θ_{0}) = D (y)^{T} t + R (y, t),$ $g(y,\theta_{0}+t)-g(y,\theta_{0})=D(y)^{T}t+R(y,t),$ $D(y)$ $F$ $E R (Y, t) = \frac{1}{2} t^{T} J t + o ({| t |}^{2}), as t \to 0$ $\mathbb{E} R(Y,t)=\frac{1}{2}t^{T}Jt+o(\left|t\right|^{2}),\mbox{ as }t\to0$ $J$
$\mbox{Var}[ R(Y,t) ]=o(\left|t\right|^{2})$ sebagai . $t\to0$
$D(Y)$ memiliki matriks kovariansi terbatas . $K=\int D(y)D(y)^{T}\, dF(y)$

LALU setiap estimator adalah untuk , dan asymptotically normal dengan $\hat{\theta}_{n}\in\arg\min_{\theta\in\cal{R}^{p}}\sum_{i=1}^{n}g(Y_{i},t)$ $\sqrt{n}$ $\theta_{0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \overset{d}{\to} N_{p} (0, J^{- 1} K J^{- 1}) .

$\sqrt{n}\left(\hat{\theta}_{n}-\theta_{0}\right)\stackrel{d}{\rightarrow}\mathcal{N}_{p}(0,J^{-1} K J^{-1}).$

— DavidR
sumber

0

Ini tidak akan menjadi jawaban, karena itu akan mengurangi masalah Anda ke yang lain, tapi saya pikir ini mungkin berguna. Pertanyaan Anda pada dasarnya adalah tentang konsistensi M-estimator. Jadi pertama-tama kita bisa melihat hasil umum. Ini adalah hasil dari buku van der Vaart (teorema 5.7, halaman 45):

Teorema Misalkan adalah fungsi acak dan misalkan adalah fungsi tetap dari sehingga untuk setiap $M_n$ $M$ $\theta$ $\varepsilon>0$

sup_{θ \in Θ} | M_{n} (θ) - M (θ) | \overset{P}{\to} 0,

$\sup_{\theta\in\Theta}|M_n(\theta)-M(\theta)|\xrightarrow{P}0,$

sup_{θ : d (θ, θ_{0}) \geq ε} M (θ) < M (θ_{0}) .

$\sup_{\theta:d(\theta,\theta_0)\ge\varepsilon} M(\theta)<M(\theta_0).$

Kemudian setiap urutan estimator dengan konvergen dalam probabilitas ke $\hat\theta_n$ $M_n(\hat\theta_n)\ge M_n(\theta_0)-o_P(1)$ $\theta_0$

Dalam kasus Anda , dan $\theta_0=\mu$ $M(\theta)=E\rho(|X-\theta|)$ $M_n(\theta)=\frac{1}{n}\sum \rho(|X_i-\theta|)$

Kondisi kunci di sini adalah konvergensi yang seragam. Di halaman 46 kata van der Vaart

bahwa untuk rata-rata yang merupakan kasus Anda, kondisi ini setara dengan serangkaian fungsi ( dalam kasus Anda) menjadi Glivenko Canteli . Satu set sederhana kondisi yang cukup adalah bahwa kompak, bahwa fungsi kontinu untuk setiap , dan bahwa mereka didominasi oleh fungsi yang dapat diintegrasikan. $\{m_\theta, \theta\in\Theta\}$ $m_\theta=\rho(|x-\theta|)$ $\Theta$ $\theta\to m_\theta(x)$ $x$

Dalam Wooldridge hasil ini dirumuskan sebagai teorema yang disebut Uniform Weak Law of Large Number, halaman 347 (edisi pertama), teorema 12.1. Itu hanya menambah persyaratan terukur apa yang dinyatakan oleh van der Vaart.

Dalam kasus Anda, Anda dapat dengan aman memilih untuk beberapa , jadi Anda perlu menunjukkan bahwa ada fungsi sedemikian rupa sehingga $\Theta=[\mu-C,\mu+C]$ $C$ $b$

| ρ (| x - θ |) | \leq b (x)

$|\rho(|x-\theta|)|\le b(x)$

untuk semua , sedemikian sehingga . Teori fungsi cembung mungkin bisa membantu di sini, karena Anda pada dasarnya dapat mengambil $\theta\in\Theta$ $Eb(X)<\infty$

b (x) = sup_{θ \in Θ} | ρ (| x - θ |) | .

$b(x)=\sup_{\theta\in\Theta}|\rho(|x-\theta|)|.$

Jika fungsi ini memiliki properti yang bagus maka Anda bisa menggunakannya.

— mpiktas
sumber