Ketika Teorema Limit Pusat dan Hukum Angka Besar tidak setuju


19

Ini pada dasarnya adalah replikasi dari pertanyaan yang saya temukan di math.se , yang tidak mendapatkan jawaban yang saya harapkan.

Biarkan menjadi urutan variabel acak yang independen dan terdistribusi secara identik, dengan dan .{Xi}iNE[Xi]=1V[Xi]=1

Pertimbangkan evaluasi

limnP(1ni=1nXin)

Ungkapan ini harus dimanipulasi karena, seperti halnya, kedua sisi peristiwa ketidaksetaraan cenderung tak terbatas.

A) COBA SUBTRAKSI

Sebelum mempertimbangkan pernyataan pembatasan, kurangi dari kedua sisi:n

limnP(1ni=1nXinnn)=limnP(1ni=1n(Xi1)0)=Φ(0)=12

persamaan terakhir oleh CLT, di mana Φ() adalah fungsi distribusi normal standar.

B) MENCOBA MULTIPLIKASI

Lipat gandakan kedua sisi dengan lim n P ( 11/n

limnP(1n1ni=1nXi1nn)=limnP(1ni=1nXi1)

=limnP(X¯n1)=limnFX¯n(1)=1

di mana FX¯n() adalah fungsi distribusi rata-rata sampel X¯n , yang oleh LLN konvergen dalam probabilitas (dan juga dalam distribusi) ke konstanta 1 , maka persamaan terakhir.

Jadi kami mendapatkan hasil yang bertentangan. Mana yang benar? Dan mengapa yang lain salah?


1
@JuhoKokkala Tentu, ini dia, math.stackexchange.com/q/2830304/87400 Abaikan saja kesalahan OP di sana.
Alecos Papadopoulos

2
Saya pikir masalahnya ada pada pernyataan kedua yang memohon LLN
Glen_b -Reinstate Monica

3
Saya mengikuti Anda sampai kesetaraan akhir. Jelas salah, karena kita mengharapkan mendekati untuk besar dan oleh karena itu batasnya tidak boleh sama dengan Apa pembenaran yang dimaksudkan untuk itu? Ini bukan pernyataan dari versi hukum nomor berapa pun yang saya tahu. 1 / 2 n 1.P(X¯n1)1/2n1.
whuber

1
@whuber Seharusnya, bahwa semua probabilitas untuk mean sampel berkonsentrasi ke nilai . Jika ini salah, saya yakin penting untuk kesalahan dijabarkan dalam jawaban, itulah tujuan dari pertanyaan ini. 1
Alecos Papadopoulos

2
Alecos, kekhawatiran saya bukanlah apakah langkah terakhir itu salah: itu menyangkut alasan Anda membuatnya. Bukankah itu pertanyaannya? Saya masih belum membaca apa pun dari Anda memberikan alasan itu dan saya akan ragu bahkan untuk menebak apa yang mungkin terjadi. Meskipun Anda merujuk pada "LLN," saya percaya penyelesaian masalah Anda kemungkinan besar terletak pada menggambarkan dengan tepat apa yang Anda pahami "LLN" untuk menegaskan.
whuber

Jawaban:


15

Kesalahan di sini kemungkinan dalam fakta berikut: konvergensi dalam distribusi secara implisit mengasumsikan bahwa konvergen ke pada titik kontinuitas . Karena distribusi batas adalah variabel acak konstan, ia memiliki loncatan diskontinuitas pada , maka itu tidak benar untuk menyimpulkan bahwa CDF konvergen ke . F ( x ) F ( x ) x = 1 F ( x ) = 1Fn(x)F(x) F(x)x=1F(x)=1


1
Cara kita mendefinisikan konvergensi dalam disribusi tidak mengecualikan kemungkinan konvergensi pada titik diskontinuitas - hanya saja tidak memerlukannya .
Alecos Papadopoulos

1
Tetapi jika konvergensi dalam distribusi tidak memerlukan untuk konvergen ke , berdasarkan apakah kesetaraan terakhir dalam pertanyaan itu? F ( 1 )Fn(1)F(1)
Juho Kokkala

1
@ Juho Ini tidak didasarkan pada apa pun - itulah inti masalahnya. Tidak ada teorema yang memungkinkan seseorang untuk membuat persamaan terakhir dalam pertanyaan.
Whuber

1
@AlecosPapadopoulos: Saya tidak pernah mengatakan bahwa itu tidak mengecualikan kemungkinan. Secara implisit saya mengatakan bahwa Anda perlu menjustifikasi kesetaraan terakhir di luar apa yang diberikan kepada Anda dari konvergensi dalam distribusi. Misalnya jika adalah Bernoulli, maka itu akan benar. Xn
Alex R.

11

Untuk variabel acak iid dengan define Sekarang, CLT mengatakan bahwa untuk setiap bilangan real tetap , . OP menerapkan CLT untuk mengevaluasi E [ X i ] = var ( X i ) = 1 Z nXiE[Xi]=var(Xi)=1zlimnFZn(z)=Φ(z-1)limnP(Zn1

Zn=1ni=1nXi,Yn=1ni=1nXi.
zlimnFZn(z)=Φ(z1)
limnP(Zn1n)=Φ(0)=12.

Seperti jawaban lain dan beberapa komentar pada pertanyaan OP telah menunjukkan, itu adalah evaluasi OP dari yang dicurigai. Pertimbangkan kasus khusus ketika iid adalah variabel acak diskrit yang mengambil nilai dan dengan probabilitas yang sama . Sekarang, dapat mengambil semua nilai integer genap dalam sehingga ketika ganjil, tidak dapat mengambil nilai dan karenanya tidak dapat mengambil nilaiX i 0 2 1limnP(Yn1)Xi02 n i = 1 Xi[0,2n]n n i = 1 XinYn=112i=1nXi[0,2n]ni=1nXin1Yn1P(Yn1)=FYn(1)1Yn=1ni=1nXi 1. Lebih jauh, karena distribusi simetris tentang , kita memiliki memiliki nilai setiap kali ganjil. Jadi, urutan angka berisi urutan selanjutnya di mana semua istilah memiliki nilai . Di sisi lain, subsequence yang konvergen ke . Karenanya,Yn1P(Yn1)=FYn(1) nP(Y11),P(Y21),...,P(Yn1),...P(Y11),P(Y31),...,P(Y2k-11),112n

P(Y11),P(Y21),,P(Yn1),
P(Y11),P(Y31),,P(Y2k11),
P(Y21),P(Y41),,P(Y2k1),1limnP(Yn1)P(Yn1)12
P(Y21),P(Y41),,P(Y2k1),
1limnP(Yn1) tidak ada dan klaim konvergensi ke 1 harus dilihat dengan penuh kecurigaan.P(Yn1)

8

Hasil pertama Anda adalah yang benar. Kesalahan Anda terjadi di bagian kedua, dalam pernyataan salah berikut:

limnFX¯n(1)=1.

Pernyataan ini salah (sisi kanan harus ) dan tidak mengikuti hukum angka besar seperti yang dinyatakan. Hukum lemah jumlah besar (yang Anda panggil) mengatakan bahwa:12

limnP(|X¯n1|ε)=1for all ε>0.

Untuk semua kondisi merentang beberapa nilai di mana dan beberapa nilai di mana . Oleh karena itu, tidak mengikuti dari LLN bahwa .| ˉ X n - 1 | ε ˉ X n1 ˉ X n > 1 lim n P (ε>0|X¯n1|εX¯n1X¯n>1limnP(X¯n1)=1


1
Hasil (memang salah) berasal dari implikasi "konvergensi dalam probabilitas menyiratkan konvergensi dalam distribusi". Pertanyaannya tidak menyatakan bahwa pernyataan tersebut datang langsung dari LLN.
Alecos Papadopoulos

@AlecosPapadopoulos: Konvergensi dalam probabilitas tidak menyiratkan konvergensi dalam distribusi. Sekali lagi, konvergensi dalam distribusi hanya diperlukan pada titik kontinuitas. Tapi, mungkin maksudmu konvergensi dalam probabilitas tidak menyiratkan konvergensi distribusi yang searah .
Alex R.

@AlexR. Saya tidak yakin di mana keberatan Anda berada. Saya percaya masalah ini tercakup dalam jawaban saya sendiri.
Alecos Papadopoulos

3

Konvergensi dalam probabilitas menyiratkan konvergensi dalam distribusi. Tapi ... distribusi apa? Jika distribusi pembatas memiliki loncatan diskontinuitas maka batas menjadi ambigu (karena beberapa nilai dimungkinkan pada diskontinuitas).

di mana adalah fungsi distribusi rata-rata sampel , yang oleh LLN konvergen dalam probabilitas (dan juga dalam distribusi) ke konstanta ,FX¯n()X¯n1

Ini tidak benar, dan juga mudah untuk menunjukkan bahwa itu tidak benar (berbeda dari perbedaan pendapat antara CLT dan LLN). Distribusi pembatas (yang dapat dilihat sebagai batas untuk urutan variabel terdistribusi normal) harus:

FX¯(x)={0for x<10.5for x=11for x>1

untuk fungsi ini Anda memilikinya, untuk setiap dan setiap , perbedaan untuk cukup besar . Ini akan gagal jika bukanϵ>0x|FX¯n(x)FX¯(x)|<ϵnFX¯(1)=1FX¯(1)=0.5


Batas distribusi normal

Mungkin bermanfaat untuk secara eksplisit menuliskan jumlah yang digunakan untuk menerapkan hukum angka besar.

X¯n=1ni=1nXiN(1,1n)

Batas untuk sebenarnya setara dengan fungsi Dirac Delta ketika diwakili sebagai batas distribusi normal dengan varians menjadi nol.nX^n

Menggunakan ungkapan itu, lebih mudah untuk melihat apa yang terjadi di bawah tenda, daripada menggunakan hukum CLT dan LLN yang sudah jadi yang mengaburkan alasan di balik hukum.


Konvergensi dalam probabilitas

Hukum angka besar memberi Anda 'konvergensi dalam probabilitas'

limnP(|X¯n1|>ϵ)=0

denganϵ>0

Pernyataan setara dapat dibuat untuk teorema batas pusat dengan limnP(|1n(Xi1)|>ϵn)=0

Adalah salah untuk menyatakan bahwa ini menyiratkan

limnP(|X¯n1|>0)=0

Kurang bagus bahwa pertanyaan ini dikirim lebih awal (membingungkan, namun menarik untuk melihat berbagai diskusi / pendekatan matematika vs statistik, jadi tidak terlalu buruk). The jawaban oleh Michael Hardy pada penawaran matematika stackexchange dengan sangat efektif dari segi hukum yang kuat jumlah besar (prinsip yang sama seperti jawaban yang diterima dari drhab di salib posted pertanyaan dan Dilip di sini). Kami hampir yakin bahwa urutan konvergen ke 1, tetapi ini tidak berartiX¯1,X¯2,X¯3,...X¯nlimnP(X¯n=1)akan sama dengan 1 (atau bahkan mungkin tidak ada seperti yang ditunjukkan Dilip). Contoh dadu dalam komentar oleh Tomasz menunjukkan ini dengan sangat baik dari sudut yang berbeda (bukan batas yang tidak ada, batasnya menjadi nol). Rata-rata dari urutan dadu gulungan akan menyatu dengan rata-rata dadu tetapi probabilitas untuk menjadi sama dengan ini pergi ke nol.


Fungsi langkah Heaviside dan fungsi Dirac delta

CDF dari adalah sebagai berikut:X¯n

FX¯n(x)=12(1+erfx12/n)

dengan, jika Anda suka, (terkait dengan fungsi langkah Heaviside , integral dari fungsi Dirac delta bila dilihat sebagai batas distribusi normal).limnFX¯n(1)=0.5


Saya percaya bahwa pandangan ini secara intuitif menyelesaikan pertanyaan Anda tentang 'tunjukkan bahwa itu salah' atau setidaknya itu menunjukkan bahwa pertanyaan tentang memahami penyebab ketidaksepakatan CLT dan LLN ini setara dengan pertanyaan tentang memahami integral dari fungsi Dirac delta atau urutan distribusi normal dengan varian menurun ke nol.


2
Distribusi terbatas Anda sebenarnya bukan distribusi sama sekali. CDF harus benar-benar kontinu, sedangkan itu jelas tidak di . x=1/2
Alex R.

Kontinuitas yang tepat tampaknya diperlukan sehingga untuk setiap kita memiliki sebagai peristiwa bersarang kita seharusnya memiliki tetapi apakah ini benar untuk kasus kami dan di mana tangkapannya? Apakah kesinambungan yang benar ini diperlukan berdasarkan pada aksioma probabilitas atau apakah ini hanya sebuah konvensi sehingga CDF bekerja untuk sebagian besar kasus umum? alimnFX(a+1n)=FX(a)Xa+1n
limnFX(a+1n)=limnP(Xa+1n)=P(limnXa+1n)=P(Xa)=FX(a)
Sextus Empiricus

@Martin Weterings: Dari sinilah asalnya. Setiap ukuran valid harus memenuhi hasil monotonisitas ini. Mereka adalah konsekuensi dari keterbatasan bersama dengan aditif yang dapat dihitung. Lebih umum, fungsi adalah CDF (yaitu sesuai dengan beberapa distribusi melalui jika adalah kontinu-kanan, bersamaan dengan menjadi monotonik , dan memiliki batas kiri 0, batas kanan 1.PPF(x)PF(b)F(a)=P(a<Xb)F
Alex R.

2

Saya percaya seharusnya sudah jelas sekarang bahwa "pendekatan CLT" memberikan jawaban yang tepat.

Mari kita menunjukkan dengan tepat di mana "pendekatan LLN" salah.

Dimulai dengan pernyataan hingga, jelas kemudian bahwa kita dapat secara ekivalen mengurangkan dari kedua sisi, atau mengalikan kedua sisi dengan . Kita mendapatkann1/n

P(1ni=1nXin)=P(1ni=1n(Xi1)0)=P(1ni=1nXi1)

Jadi jika batasnya ada, itu akan sama. Pengaturan , yang kita miliki, menggunakan fungsi distribusiZn=1ni=1n(Xi1)

P(1ni=1nXin)=FZn(0)=FX¯n(1)

... dan memang benar bahwa .limnFZn(0)=Φ(0)=1/2

Pemikiran dalam "pendekatan LLN" berjalan sebagai berikut: "Kita tahu dari LLN bahwa konvergen dalam probabilitas ke sebuah konstanta. Dan kita juga tahu bahwa" konvergensi dalam probabilitas menyiratkan konvergensi dalam distribusi ". Jadi, konvergen dalam distribusi ke sebuah konstanta ". Sampai disini kita benar. Kemudian kita nyatakan: "karena itu, probabilitas pembatas untuk diberikan oleh fungsi distribusi konstanta pada variabel acak",X¯nX¯n
X¯n1

F1(x)={1x10x<1F1(1)=1

... jadi ...limnFX¯n(1)=F1(1)=1

... dan kami baru saja membuat kesalahan . Mengapa? Karena, sebagai @AlexR. jawab mencatat , "konvergensi dalam distribusi" hanya mencakup titik-titik kontinuitas fungsi distribusi yang membatasi. Dan adalah titik diskontinuitas untuk . Ini berarti bahwa mungkin sama dengan tetapi mungkin tidak , tanpa meniadakan implikasi "konvergensi dalam distribusi ke konstanta" konstan dari LLN .1F1limnFX¯n(1) F1(1)

Dan karena dari pendekatan CLT kita tahu berapa nilai batasnya ( ). Saya tidak tahu cara untuk membuktikan secara langsung bahwa .1/2limnFX¯n(1)=1/2

Apakah kita mempelajari sesuatu yang baru?

Aku melakukannya. LLN menegaskan itu

limnP(|X¯n1|ε)=1for all ε>0

limn[P(1ε<X¯n1)+P(1<X¯n1+ε)]=1

limn[P(X¯n1)+P(1<X¯n1+ε)]=1

LLN tidak mengatakan bagaimana probabilitas dialokasikan dalam interval . Apa yang saya pelajari adalah bahwa, dalam kelas hasil konvergensi ini, probabilitasnya berada pada batas yang dialokasikan secara merata di kedua sisi titik tengah dari interval runtuh. (1ε,1+ε)

Pernyataan umum di sini adalah, asumsikan

Xnpθ,h(n)(Xnθ)dD(0,V)

di mana adalah beberapa rv dengan fungsi distribusi . KemudianDFD

limnP[Xnθ]=limnP[h(n)(Xnθ)0]=FD(0)

... yang mungkin tidak sama dengan (fungsi distribusi rv konstan).Fθ(0)

Juga, ini adalah contoh kuat bahwa, ketika fungsi distribusi dari variabel acak pembatas memiliki diskontinuitas, maka "konvergensi dalam distribusi ke variabel acak" dapat menggambarkan situasi di mana "distribusi pembatas" dapat tidak setuju dengan "distribusi pembatas variabel acak "pada titik diskontinuitas. Sebenarnya, distribusi pembatas untuk titik kontinuitas adalah dari variabel acak konstan. Untuk titik diskontinuitas, kami mungkin dapat menghitung probabilitas pembatas, sebagai entitas "terpisah".


Perspektif 'pelajaran yang dipelajari' menarik, dan ini adalah contoh yang baik, tidak terlalu sulit, untuk aplikasi didaktik. Meskipun saya bertanya-tanya seperti apa aplikasi praktis (langsung) yang dipikirkan oleh orang yang tidak terbatas ini, karena pada akhirnya dalam praktiknyan
Sextus Empiricus

@ MartijnWeterings Martijn, motivasi di sini tentu mendidik, a) sebagai peringatan untuk diskontinuitas bahkan dalam situasi "datar" seperti konvergensi ke konstanta, dan begitu juga secara umum (mereka menghancurkan konvergensi seragam misalnya), dan b) hasil tentang bagaimana massa probabilitas dialokasikan menjadi menarik ketika urutan yang konvergen dalam probabilitas ke konstanta, masih memiliki varian yang tidak nol.
Alecos Papadopoulos

Kita dapat mengatakan bahwa CLT mari kita mengatakan sesuatu tentang konvergensi ke variabel terdistribusi normal yang membatasi (sehingga dapat mengekspresikan hal-hal seperti ), tetapi LLN hanya memungkinkan kita untuk mengatakan bahwa, dengan meningkatkan ukuran sampel, kita semakin dekat dengan mean yang sebenarnya, tetapi ini tidak mengatakan bahwa kita mendapatkan, dengan probabilitas yang lebih tinggi, 'persis sama dengan mean sampel'. LLN berarti bahwa rata-rata sampel semakin dekat dan lebih dekat ke nilai batas tetapi tidak (dengan probabilitas lebih tinggi) sama dengan itu. LLN tidak mengatakan apa-apa tentangF ( x )F(x)F(x)
Sextus Empiricus

Pikiran asli di sekitar LLN di mana sebenarnya berlawanan (lihat alasan Arbuthnot stats.stackexchange.com/questions/343268 ). "Ini terlihat dari apa yang telah dikatakan, bahwa dengan Jumlah Dadu yang sangat besar, Lot A akan menjadi sangat kecil ... hanya akan ada bagian kecil dari semua Peluang yang mungkin, untuk terjadi pada waktu kapan pun, bahwa Jumlah Pria dan Wanita yang sama harus dilahirkan. "
Sextus Empiricus
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.