Contoh tandingan untuk kondisi yang cukup yang diperlukan untuk konsistensi

Kita tahu bahwa jika estimator adalah estimator yang tidak bias dari theta dan jika variansenya cenderung 0 karena n cenderung tak terhingga maka itu adalah estimator yang konsisten untuk theta. Tetapi ini adalah kondisi yang cukup dan tidak perlu. Saya mencari contoh estimator yang konsisten tetapi variansnya cenderung 0 karena n cenderung tak hingga. Ada saran?

— pengguna22546
sumber

Lihat, misalnya, komentar ini dan diskusi terkait.

— kardinal

Senang melihat jawaban saya (salah) menghasilkan dua lagi, dan mengubah pertanyaan mati menjadi utas T&J yang ramai. Jadi sudah saatnya mencoba menawarkan sesuatu yang berharga, kurasa) .

Pertimbangkan proses stokastik kovarians-stasioner berkorelasi seri $\{y_t\},\;\; t=1,...,n$ , dengan rata-rata $\mu$ dan autokovarian $\{\gamma_j\},\;\; \gamma_j\equiv \operatorname{Cov}(y_t,y_{t-j})$ . Asumsikan bahwa $\lim_{j\rightarrow \infty}\gamma_j= 0$ (Ini membatasi "kekuatan" autokorelasi ketika dua realisasi proses semakin jauh dalam waktu). Lalu kita memilikinya

{\bar{y}}_{n} = \frac{1}{n} \sum_{t = 1}^{n} y_{t} \to_{m . s} μ, sebagai n \to \infty

$\bar y_n = \frac 1n\sum_{t=1}^ny_t\rightarrow_{m.s} \mu,\;\; \text{as}\; n\rightarrow \infty$

yaitu rata-rata sampel konvergen dalam kuadrat berarti dengan rata-rata sebenarnya dari proses, dan karena itu juga konvergen dalam probabilitas: sehingga itu adalah penaksir yang konsisten dari . $\mu$

dari dapat ditemukan $\bar y_n$

Var ({\bar{y}}_{n}) = \frac{1}{n} γ_{0} + \frac{2}{n} \sum_{j = 1}^{n - 1} (1 - \frac{j}{n}) γ_{j}

$\operatorname{Var}(\bar y_n) = \frac 1n \gamma_0+\frac 2n \sum_{j=1}^{n-1}\left(1-\frac {j}{n}\right)\gamma_j$

yang mudah ditunjukkan ke nol saat pergi ke tak terhingga. $n$

Sekarang, dengan memanfaatkan komentar Cardinal, mari kita acakkan penaksir kita lebih jauh dari rata-rata, dengan mempertimbangkan penaksir

{\tilde{μ}}_{n} = {\bar{y}}_{n} + z_{n}

$\tilde \mu_n = \bar y_n + z_n$

di mana adalah proses stokastik variabel acak independen yang juga independen dari , mengambil nilai (parameter akan ditentukan oleh kami) dengan probabilitas , nilai dengan probabilitas , dan nol sebaliknya. Jadi memiliki nilai dan varian yang diharapkan $\{z_t\}$ $y_i$ $at$ $a>0$ $1/t^2$ $-at$ $1/t^2$ $\{z_t\}$

E (z_{t}) = Sebuah t \frac{1}{t^{2}} - Sebuah t \frac{1}{t^{2}} + 0 \cdot (1 - \frac{2}{t^{2}}) = 0, Var (z_{t}) = 2 {Sebuah}^{2}

$E(z_t) = at\frac 1{t^2} -at\frac 1{t^2} + 0\cdot \left (1-\frac 2{t^2}\right)= 0,\;\;\operatorname{Var}(z_t) = 2a^2$

Nilai yang diharapkan dan varians dari estimator karenanya

E (\tilde{μ}) = μ, Var (\tilde{μ}) = Var ({\bar{y}}_{n}) + 2 {Sebuah}^{2}

$E(\tilde \mu) = \mu,\;\;\operatorname{Var}(\tilde \mu) = \operatorname{Var}(\bar y_n) + 2a^2$

Pertimbangkan distribusi probabilitas, :mengambil nilai dengan probabilitas dan nilai dengan probabilitas . Begitu $|z_n|$ $P\left(|z_n| \le \epsilon\right),\;\epsilon>0$ $|z_n|$ $0$ $(1-2/n^2)$ $an$ $2/n^2$

P (| z_{n} | < ϵ) \geq 1 - 2 / n^{2} = lim_{n \to \infty} P (| z_{n} | < ϵ) \geq 1 = 1

$P\left(|z_n| <\epsilon\right) \ge 1-2/n^2 = \lim_{n\rightarrow \infty}P\left(|z_n| < \epsilon\right) \ge 1 = 1$

yang berarti bahwa konvergen dalam probabilitas ke (sementara tetap terbatas). Karena itu $z_n$ $0$

Plim {\tilde{μ}}_{n} = Plim {\bar{y}}_{n} + Plim z_{n} = μ

$\operatorname{plim}\tilde \mu_n = \operatorname{plim}\bar y_n+\operatorname{plim} z_n = \mu$

jadi penduga acak ini dari nilai rata-rata dari proses stokastik tetap konsisten. Tetapi variansnya tidak pergi ke nol karena menuju ke infinity, juga tidak pergi ke infinity. $y$ $n$

Sebagai penutup, mengapa semua elaborasi yang tampaknya tidak berguna dengan proses stokastik autokorelasi? Karena Cardinal memenuhi contohnya dengan menyebutnya "absurd", seperti "hanya untuk menunjukkan secara matematis, kita dapat memiliki penduga yang konsisten dengan varian yang tidak nol dan terbatas".
Saya ingin memberi isyarat bahwa itu tidak selalu merupakan keingintahuan, setidaknya dalam semangat: Ada saat-saat dalam kehidupan nyata ketika proses baru dimulai, proses buatan manusia, yang berkaitan dengan bagaimana kita mengatur kehidupan dan aktivitas kita. Meskipun kami biasanya telah merancang mereka, dan dapat mengatakan banyak tentang mereka, masih, mereka mungkin sangat kompleks sehingga mereka diperlakukan secara wajar sebagai stokastik (ilusi kontrol penuh atas proses tersebut, atau melengkapi pengetahuan apriori pada evolusi mereka, proses yang mungkin mewakili cara-cara baru untuk berdagang atau memproduksi, atau mengatur struktur hak-dan-kewajiban di antara manusia, hanya itu, ilusi). Menjadi juga baru, kami tidak memiliki akumulasi realisasi yang cukup untuk melakukan inferensi statistik yang andal tentang bagaimana mereka akan berkembang. Kemudian, koreksi ad hoc dan mungkin "suboptimal" tetap merupakan fenomena yang sebenarnya, ketika misalnya kita memiliki proses di mana kami sangat percaya bahwa saat ini tergantung pada masa lalu (maka proses stokastik berkorelasi otomatis), tetapi kami benar-benar tidak tahu bagaimana belum (karena itu pengacakan ad hoc, sementara kami menunggu data menumpuk untuk memperkirakan kovarian). Dan mungkin seorang ahli statistik akan menemukan cara yang lebih baik untuk menghadapi ketidakpastian yang parah semacam itu - tetapi banyak entitas harus berfungsi dalam lingkungan yang tidak pasti tanpa manfaat dari layanan ilmiah semacam itu.

Berikut ini adalah jawaban awal (salah) (lihat terutama komentar Kardinal)

Estimator yang konvergen dalam probabilitas ke variabel acak memang ada: kasus "regresi palsu" muncul di benak, di mana jika kita mencoba untuk mundur dua jalan acak independen (yaitu proses stokastik non-stasioner) pada satu sama lain dengan menggunakan estimasi kuadrat terkecil biasa. , penaksir OLS akan konvergen ke variabel acak.

Tetapi estimator yang konsisten dengan varian non-nol tidak ada, karena konsistensi didefinisikan sebagai konvergensi dalam probabilitas estimator ke konstanta , yang, menurut konsepsi, memiliki varian nol.

— Alecos Papadopoulos
sumber

@ cardinal Terima kasih atas intervensinya, dan saya akan senang memperbaikinya. Dapatkah saya memiliki petunjuk tentang bagaimana saya bisa mulai mencari penduga yang konsisten yang variansnya menyatu ke angka yang terbatas? (Kasus varians tak terbatas / tidak terdefinisi adalah kasus yang diketahui dan seharusnya disebutkan -tapi kasus terbatas non-nol adalah kasus yang sangat menarik). Atau apakah saya menggambarkan properti konsistensi secara salah?

— Alecos Papadopoulos

Contoh yang saya berikan dalam komentar yang ditautkan dalam catatan saya ke OP memiliki varian terbatas yang terbatas. Konsistensi berkaitan dengan konvergensi dalam probabilitas, yang telah Anda catat dengan benar. Tetapi untuk varians menjadi nol, kita harus mengendalikan ekornya (juga). Ini terkait dengan hubungan antara konvergensi dan konvergensi dalam probabilitas.

L_{p}

$L_p$

— kardinal

Saya memberikan contoh konvergensi dalam probabilitas dengan varians yang selalu positif dan terbatas dalam jawaban saya di sini juga.

— ekvall

@ kardinal Jika Anda tidak lagi percaya bahwa jawaban saat ini salah, mungkin Anda dapat menghapus komentar Anda, atau mengirim komentar baru untuk mengonfirmasi bahwa jawaban saat ini tidak lagi salah? Dari sudut pandang pembaca, memiliki jawaban tervvotasikan yang mengatakan bahwa jawaban salah salah (dan memaksa seseorang untuk mulai memeriksa kronologi edit).

— Silverfish

Komentar @Silverfish Cardinal memang mengacu pada jawaban awal saya (bagian di bawah bilah abu-abu di dekat akhir posting). Tepat karena jawaban awal ini menghasilkan komentar yang masih ada, saya membiarkannya tidak dihapus, di bawah jawaban baru. Saya menambahkan sesuatu pada bilah abu-abu untuk membantu sedikit kebingungan.

— Alecos Papadopoulos

Ambil sampel apa pun dari distribusi dengan ekspektasi terbatas dan varian tak terbatas ( Pareto with $\alpha\in(1,2]$ sebagai contoh). Kemudian mean sampel akan bertemu dengan harapan karena hukum atau jumlah besar (yang hanya membutuhkan keberadaan rata-rata) dan varians akan tak terbatas.

— mpiktas
sumber

Apakah variansnya tak terbatas ketika, katakanlah,

α = 1.5

$\alpha = 1.5$ ? Atau itu tidak didefinisikan dalam kasus seperti itu?

— Alecos Papadopoulos

Yah itu tidak terbatas, jika kita melihat area di bawah kurva untuk intepretasi integral.

— mpiktas

Biarkan saya memberi contoh urutan variabel acak yang konvergen ke nol dalam probabilitas tetapi dengan varian tak terbatas. Pada dasarnya, estimator hanyalah variabel acak sehingga dengan sedikit abstraksi, Anda dapat melihat bahwa konvergensi probabilitas ke konstanta tidak menyiratkan varians mendekati nol.

Pertimbangkan variabel acak $\xi_n(x):=\chi_{[0,1/n]}(x)x^{-1/2}$ di $[0,1]$ di mana ukuran probabilitas dipertimbangkan adalah ukuran Lebesgue. Jelas, $P(\xi_n(x)>0)=1/n\to0$ tapi

\int ξ_{n}^{2} d P = \int_{0}^{1 / n} x^{- 1} d x = catatan (x) ∣_{0}^{1 / n} = \infty,

$\int\xi_n^2dP=\int_{0}^{1/n}x^{-1}dx=\log(x)\mid _{0}^{1/n}=\infty,$ untuk semua

n

$n$ jadi variansnya tidak pergi ke nol.

Sekarang, buat saja estimator di mana saat sampel Anda bertambah, Anda memperkirakan nilai sebenarnya $\mu=0$ dengan undian $\xi_n$ . Perhatikan bahwa penaksir ini bukan tidak memihak untuk 0, tetapi untuk membuatnya tidak bias, Anda hanya dapat mengatur $\eta_n:=\pm\xi_n$ dengan probabilitas yang sama 1/2 dan menggunakannya sebagai estimator Anda. Argumen yang sama untuk konvergensi dan varians jelas berlaku.

Sunting: Jika Anda ingin contoh di mana variansnya terbatas, ambil

ξ_{n} (x) : = χ_{[0, 1 / n]} (x) \sqrt{n},

$\xi_n(x):=\chi_{[0,1/n]}(x)\sqrt{n},$ dan sekali lagi pertimbangkan

η_{n} := \pm ξ_{n}

$\eta_n:=\pm\xi_n$ wp 1/2.

— ekvall
sumber