Mensimulasikan Konvergensi dalam Probabilitas ke konstanta

Hasil asimptotik tidak dapat dibuktikan dengan simulasi komputer, karena mereka adalah pernyataan yang melibatkan konsep infinity. Tetapi kita harus bisa mendapatkan perasaan bahwa segala sesuatunya benar-benar berbaris seperti yang dikatakan teori.

Pertimbangkan hasil teoretis

lim_{n \to \infty} P (| X_{n} | > ϵ) = 0, ϵ > 0

$\lim_{n\rightarrow\infty}P(|X_n|>\epsilon) = 0, \qquad \epsilon >0$

di mana $X_n$ adalah fungsi dari $n$ variabel acak, katakanlah terdistribusi secara identik dan independen. Ini mengatakan bahwa $X_n$ konvergen dalam probabilitas ke nol. Contoh pola dasar di sini saya kira adalah kasus di mana $X_n$ adalah mean sampel dikurangi nilai yang diharapkan umum dari iidrv tentang sampel,

X_{n} = \frac{1}{n} \sum_{i = 1}^{n} Y_{i} - E [Y_{1}]

$X_n = \frac 1n\sum_{i=1}^nY_i - E[Y_1]$

PERTANYAAN: Bagaimana kita dapat dengan meyakinkan menunjukkan kepada seseorang bahwa hubungan di atas "terwujud di dunia nyata", dengan menggunakan hasil simulasi komputer dari sampel yang terbatas?

Harap dicatat bahwa saya secara khusus memilih konvergensi ke konstanta .

Saya berikan di bawah pendekatan saya sebagai jawaban, dan saya berharap yang lebih baik.

UPDATE: Sesuatu di belakang kepala saya mengganggu saya - dan saya menemukan apa. Saya menggali pertanyaan yang lebih tua di mana diskusi yang paling menarik berlangsung di komentar ke salah satu jawaban . Di sana, @ Cardinal memberikan contoh estimator yang konsisten tetapi variansinya tetap nol dan terbatas asimtotik. Jadi varian yang lebih sulit dari pertanyaan saya menjadi: bagaimana kita menunjukkan dengan simulasi bahwa suatu statistik konvergen dalam probabilitas menjadi konstan, ketika statistik ini mempertahankan varian non-nol dan terbatas asimtotik?

— Alecos Papadopoulos
sumber

@ Glen_b Berasal dari Anda, ini setara dengan lencana. Terima kasih.

— Alecos Papadopoulos

Telah memikirkan hal ini sesekali dan yang saya pikirkan hanyalah 'konsentrasi di sekitar argumen'-jahat; Saya harap beberapa orang pintar di sini punya waktu untuk menulis sesuatu yang menarik! (+1 tentu saja!)

— ekvall

Saya menganggap sebagai fungsi distribusi (yang saling melengkapi dalam kasus tertentu). Karena saya ingin menggunakan simulasi komputer untuk menunjukkan bahwa segala sesuatu cenderung seperti yang dikatakan hasil teoretis, saya perlu membangun fungsi distribusi empiris, atau distribusi frekuensi relatif empiris, dan kemudian entah bagaimana menunjukkan bahwa ketika meningkat, nilai berkonsentrasi "semakin banyak" ke nol. $P()$ $|X_n|$ $n$ $|X_n|$

Untuk mendapatkan fungsi frekuensi relatif empiris, saya perlu (banyak) lebih dari satu sampel yang bertambah besar, karena ketika ukuran sampel meningkat, distribusiperubahan untuk setiap perbedaan . $|X_n|$ $n$

Jadi saya perlu menghasilkan dari distribusi 's, sampel "secara paralel", katakanlah mulai dalam ribuan, masing-masing dari beberapa ukuran awal , katakanlah berkisar dalam puluhan ribu. Maka saya perlu menghitung nilaidari masing-masing sampel (dan untuk sama ), yaitu memperoleh serangkaian nilai . $Y_i$ $m$ $m$ $n$ $n$ $|X_n|$ $n$ $\{|x_{1n}|, |x_{2n}|,...,|x_{mn}|\}$

Nilai-nilai ini dapat digunakan untuk membangun distribusi frekuensi relatif empiris. Memiliki kepercayaan pada hasil teoritis, saya berharap bahwa "banyak" dari nilaiakan "sangat dekat" dengan nol - tetapi tentu saja, tidak semua. $|X_n|$

Jadi untuk menunjukkan bahwa nilai-nilaimemang berbaris menuju nol dalam jumlah yang lebih besar dan lebih besar, saya harus mengulangi proses, meningkatkan ukuran sampel untuk mengatakan , dan menunjukkan bahwa sekarang konsentrasi ke nol "telah meningkat". Jelas untuk menunjukkan bahwa itu telah meningkat, kita harus menentukan nilai empiris untuk . $|X_n|$ $2n$ $\epsilon$

Apakah itu cukup? Bisakah kita memformalkan "peningkatan konsentrasi" ini? Bisakah prosedur ini, jika dilakukan dalam lebih banyak langkah "peningkatan ukuran sampel", dan yang lebih dekat dengan yang lain, memberi kami beberapa perkiraan tentang tingkat konvergensi yang sebenarnya , yaitu sesuatu seperti "massa probabilitas empiris yang bergerak di bawah ambang batas per masing-masing -Langkah", katakanlah, seribu? $n$

Atau, periksa nilai ambang batas yang, katakanlah % dari probabilitas terletak di bawah, dan lihat bagaimana nilai berkurang besarnya? $90$ $\epsilon$

SEBUAH CONTOH

Anggap sebagai dan seterusnya $Y_i$ $U(0,1)$

| X_{n} | = | \frac{1}{n} \sum_{i = 1}^{n} Y_{i} - \frac{1}{2} |

$|X_n| = \left|\frac 1n\sum_{i=1}^nY_i - \frac 12\right|$

Kami pertama kali menghasilkan sampel ukuran masing-masing. Distribusi frekuensi relatif empirisseperti $m=1,000$ $n=10,000$ $|X_{10,000}|$ masukkan deskripsi gambar di sini

dan kami mencatat bahwa % dari nilailebih kecil dari . $90.10$ $|X_{10,000}|$ $0.0046155$

Selanjutnya saya menambah ukuran sampel menjadi . Sekarang distribusi frekuensi relatif empiristerlihat seperti dan kami perhatikan bahwa % dari nilaidi bawah . Atau, sekarang % dari nilai jatuh di bawah . $n=20,000$ $|X_{20,000}|$ masukkan deskripsi gambar di sini $91.80$ $|X_{20,000}|$ $0.0037101$ $98.00$ $0.0045217$

Apakah Anda akan dibujuk oleh demonstrasi seperti itu?

— Alecos Papadopoulos
sumber

Tidak, saya tidak akan dibujuk oleh demonstrasi tersebut, jika itu semua yang ditawarkan. Itu tidak dapat membedakan antara hasil yang diklaim dan hasil di mana ada sejumlah kecil kontaminasi dari distribusi nol. Setiap simulasi komputer, agar benar-benar persuasif, harus disertai dengan alasan yang akan mengesampingkan fenomena tersebut. (Baru-baru ini saya melakukan serangkaian simulasi yang pergi ke ukuran sampel - itu bukan kesalahan ketik - tetapi masih tidak dibujuk oleh hasilnya, meskipun mereka sangat sugestif!)

10^{1000}

$10^{1000}$

— whuber

@whuber Apa yang Anda tulis terdengar sangat menarik. Apakah simulasi ini Anda sebutkan berdasarkan beberapa data nyata awal, dari mana distribusi diperkirakan dan kemudian data buatan tambahan dihasilkan? Atau itu buatan sejak awal? Jika kerahasiaan bukan merupakan masalah, dan waktu memungkinkan, saya pribadi sangat ingin melihat jawaban Anda memberikan sekilas tentang bagaimana simulasi ini berkembang dan mengapa keraguan tetap ada.

— Alecos Papadopoulos

Itu data buatan. Saya melakukan simulasi ini untuk mendukung komentar di stats.stackexchange.com/questions/104875/… . Anda akan segera melihat bagaimana simulasi besar dapat dilakukan: untuk menghasilkan sampel dari distribusi Bernoulli Anda hanya menggambar nilai tunggal dari distribusi Binomial . Ketika cukup besar, Anda mungkin juga menggambar nilai dari distribusi Normal . Trik utamanya adalah melakukan ini dengan presisi digit :-).

N

$N$

(1 / 2)

$(1/2)$

(N, 1 / 2)

$(N,1/2)$

N

$N$

(N / 2, \sqrt{N} / 2)

$(N/2, \sqrt{N}/2)$

1000

$1000$

— whuber

@ Whuber Terima kasih, saya akan mengerjakannya. Ngomong-ngomong, pertanyaan yang Anda sebutkan, jawaban di dalamnya dan komentar Anda, telah mengatur saya untuk menyelidiki lebih dalam baik distribusi asimptotik dari varians sampel dari sampel non-normal, serta penerapan teorema Slutsky dengan cara yang digunakan dalam jawabannya. Saya berharap pada akhirnya saya akan memiliki beberapa hasil untuk dibagikan.

— Alecos Papadopoulos