Teorema batas pusat versus hukum dalam jumlah besar

14

Teorema batas pusat menyatakan bahwa rata-rata variabel iid, ketika menuju tak terhingga, menjadi terdistribusi secara normal. $N$

Ini menimbulkan dua pertanyaan:

Bisakah kita menyimpulkan dari hukum jumlah besar ini? Jika hukum bilangan besar mengatakan bahwa rata-rata sampel dari nilai variabel acak sama dengan rata-rata sebenarnya ketika menuju tak terhingga, maka tampaknya lebih kuat untuk mengatakan bahwa (seperti yang dikatakan batas pusat) bahwa nilainya menjadi mana adalah standar deviasi. Apakah adil untuk mengatakan bahwa batas pusat menyiratkan hukum jumlah besar? $\mu$ $N$ $\mathcal N(\mu, \sigma)$ $\sigma$
Apakah teorema limit pusat berlaku untuk kombinasi linear variabel?

probability central-limit-theorem law-of-large-numbers

— user9097
sumber

5

Penegasan Anda bahwa "teorema limit pusat menyatakan bahwa rata-rata variabel iid, ketika

N

$N$ menuju tak terhingga, menjadi terdistribusi secara normal" adalah salah. Lihat jawaban saya untuk pertanyaan terakhir ini yang menimbulkan masalah serupa. Jawaban lain untuk pertanyaan itu telah diposting tetapi segera dihapus setelahnya, dan diskusi setelah jawaban itu, sekarang juga hilang, membahas masalah ini juga.

— Dilip Sarwate

1

Mengapa mean sampel konvergen ke populasi berarti

μ

$\mu$ hasil yang lebih lemah daripada mean sampel konvergen ke sampel dari distribusi

N (μ, σ)

$\mathcal N(\mu, \sigma)$ ?

— Dilip Sarwate

@DilipSarwate Terima kasih atas benderanya, tetapi komentar Anda cukup IMO mengungkapkan kesalahpahaman dalam pertanyaan dan jawaban yang masuk akal memang muncul.

10

OP mengatakan

Teorema batas pusat menyatakan bahwa rata-rata variabel iid, ketika N menuju tak terhingga, menjadi terdistribusi secara normal.

Saya akan menganggap ini sebagai keyakinan OP bahwa untuk variabel acak iid $X_i$ dengan mean $\mu$ dan deviasi standar $\sigma$ , fungsi distribusi kumulatif $F_{Z_n}(a)$ dari bertemu dengan fungsi distribusi kumulatif, variabel acak normal dengan rata-ratadan simpangan baku. Atau, OP percaya bahwa pengaturan ulang kecil formula ini, misalnya distribusimenyatu dengan distribusi, atau distribusi

Z_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}

$Z_n = \frac{1}{n} \sum_{i=1}^n X_i$

N (μ, σ)

$\mathcal N(\mu,\sigma)$

μ

$\mu$

σ

$\sigma$

Z_{n} - μ

$Z_n - \mu$

N (0, σ)

$\mathcal N(0,\sigma)$

(Z_{n} - μ) / σ

$(Z_n - \mu)/\sigma$ konvergen ke distribusi

, variabel acak normal standar. Perhatikan sebagai contoh bahwa pernyataan ini menyiratkan bahwa

N (0, 1)

$\mathcal N(0,1)$

sebagai

.

P {| Z_{n} - μ | > σ} = 1 - F_{Z_{n}} (μ + σ) + F_{Z_{n}} ((μ + σ)^{-}) \to 1 - Φ (1) + Φ (- 1) \approx 0.32

$P\{|Z_n - \mu| > \sigma\} = 1 - F_{Z_n}(\mu + \sigma) + F_{Z_n}((\mu + \sigma)^-) \to 1-\Phi(1)+\Phi(-1) \approx 0.32$

n \to \infty

$n \to \infty$

OP melanjutkan dengan mengatakan

Ini menimbulkan dua pertanyaan:

Bisakah kita menyimpulkan dari hukum jumlah besar ini? Jika hukum bilangan besar mengatakan bahwa rerata sampel nilai variabel acak sama dengan rerata sebenarnya μ ketika N menuju tak terhingga, maka tampaknya lebih kuat untuk mengatakan bahwa (seperti yang dikatakan batas pusat) bahwa nilainya menjadi N ( μ, σ) dengan σ adalah standar deviasi.

Hukum lemah dalam jumlah besar mengatakan bahwa untuk variabel acak iid dengan rerata terbatas , diberikan , Perhatikan bahwa tidak perlu mengasumsikan bahwa standar deviasi terbatas. $X_i$ $\mu$ $\epsilon > 0$

P {| Z_{n} - μ | > ϵ} \to 0 as n \to \infty .

$P\{|Z_n - \mu| > \epsilon\} \to 0 ~~ \text{as}~ n \to \infty.$

Jadi, untuk menjawab pertanyaan OP,

Teorema batas pusat sebagaimana dinyatakan oleh OP tidak menyiratkan hukum lemah jumlah besar. Sebagai , versi OP dari teorema limit pusat mengatakan bahwa sedangkan hukum yang lemah mengatakan bahwa $n \to \infty$ $P\{|Z_n-\mu| > \sigma\} \to 0.317\cdots$ $P\{|Z_n-\mu| > \sigma\} \to 0$
Dari pernyataan yang benar dari teorema limit pusat, kita dapat menyimpulkan hanya bentuk terbatas dari hukum lemah sejumlah besar yang berlaku untuk variabel acak dengan mean terbatas dan standar deviasi. Tetapi hukum lemah jumlah besar juga berlaku untuk variabel acak seperti variabel acak Pareto dengan sarana terbatas tetapi deviasi standar tak terbatas.
Saya tidak mengerti mengapa mengatakan bahwa mean sampel konvergen ke variabel acak normal dengan standar deviasi bukan nol adalah pernyataan yang lebih kuat daripada mengatakan bahwa mean sampel konvergen ke mean populasi, yang merupakan konstanta (atau variabel acak dengan nol standar deviasi jika kamu suka).

— Dilip Sarwate
sumber

Saya bertanya-tanya apa yang ditemukan oleh orang yang menurunkan jawaban saya dengan tidak benar atau salah dalam apa yang saya katakan.

— Dilip Sarwate

7

$\bar X_n$ $n$ $\bar X_n$ $\bar X_{n+1}$ katakan Jadi tidak, konvergensi dalam distribusi tidak menyiratkan hukum angka besar, kecuali jika Anda memiliki ruang probabilitas umum untuk semua variabel.

— Tugas
sumber

(+1) Apa yang Anda katakan itu benar, dan poin yang sangat penting. Array segitiga memungkinkan variabel di setiap "baris" untuk hidup pada ruang probabilitas yang berbeda dari baris sebelumnya. Di sisi lain, jika kita mengatakan apriori bahwa kita sedang mempertimbangkan urutan variabel acak iid, maka, secara implisit mereka harus ada pada ruang bersama yang mendasari agar gagasan kemerdekaan masuk akal.

— kardinal

@ cardinal: jadi jika saya mengerti dengan benar, dalam kasus "sederhana" di mana semua didefinisikan dalam ruang yang sama, itu adalah kasus bahwa sentralitas menyiratkan hukum angka besar? atau tidak?

— user9097

@ user9097 Karena kita sekarang masuk ke alam rincian halus, yang hukum bilangan besar sedang ditanya tentang? Hukum yang lemah atau hukum yang kuat?

— Dilip Sarwate

Poin itu hanya berlaku untuk hukum kuat dalam jumlah besar , bukan untuk hukum yang lemah

— kjetil b halvorsen

4

$\sqrt{n}(\bar{X}_n-EX)$ $\mathcal N(0, Var(X))$ $\bar{X}$ $n$ $X$

$X$ $Y$

\sqrt{n} (\frac{1}{n} \sum_{j = 1}^{n} (a X_{j} + Y_{j}) - E (a X + Y)) \to N (0, V a r (a X + Y))

$\sqrt{n}(\frac{1}{n}\sum_{j=1}^n(aX_j+Y_j) - E(aX+Y)) \to \mathcal N(0, Var(aX+Y))$

\sqrt{n} a ({\bar{X}}_{n} - E X) + \sqrt{n} ({\bar{Y}}_{n} - E Y) \to N (0, a^{2} V a r (X) + V a r (Y)) .

$\sqrt{n}a(\bar{X}_n- EX)+\sqrt{n}(\bar{Y}_n -EY) \to \mathcal N(0, a^2Var(X)+Var(Y)).$

In other words, a linear combination of random variables wont converge to a linear combination of normals under the CLT, just one normal. This makes sense because a linear combination of random variables is just a different random variable that CLT can be applied to directly.

— Daniel Johnson
sumber

1

This is a good start to an answer. Here are some comments: A linear combination of (joint) normals is normal, soo, I'm not sure what your comment in that regard was intended to mean. At any rate, I suspect the OP was not thinking about linear combinations of the form you consider. Observing that

{\bar{X}}_{n} = \sum_{i = 1}^{n} w_{n i} X_{i}

$\bar X_n = \sum_{i=1}^n w_{ni} X_i$ where

w_{n i} = 1 / n

$w_{ni} = 1/n$ for each

i = 1, \dots, n

$i = 1,\ldots,n$ , a natural question one might ask is what happens when we replace these "uniform" weights with some other (more arbitrary) ones. When do we still get a CLT? Lindeberg's CLT can be used to get at this question.

— cardinal

I think with strict conditions my result will still say something about

\sum_{j = 1}^{n} w_{n j} X_{j}

$\sum^n_{j=1}w_{nj}X_j$ . Lets first define these conditions and then consider how to weaken them. Lets take

w_{n j} = w_{j} / n

$w_{nj} = w_{j}/n$ and

w_{j}

$w_j$ to be a single, infinite sequence of non-negative reals. If the number of distinct

w_{j}

$w_{j}$ is finite and each appears infinitely often in the sequence, my result should hold as each

w_{j} X

$w_jX$ defines a random variable and this fits into the 'linear combination' framework I gave above. Then a good question would be if we could allow the number of distinct

w

$w$ scale with

n

$n$ .

— Daniel Johnson

1

This is a good comment, and a nice idea, however I believe it would need some modification to work. Assume wlog that

E X = 0

$\mathbb E X = 0$ . Construct your

w_{j}

$w_j$ as follows. Let

w_{1} = 1

$w_1 = 1$ ,

w_{2} = 0

$w_2 = 0$ . Now, define

w_{j}

$w_j$ inductively as follows: Set

w_{j} = 0

$w_j = 0$ until

\sum_{i = 1}^{j} w_{i} / j \leq 1 / 4

$\sum_{i=1}^j w_i /j \leq 1/4$ . Then append ones until

\sum_{i = 1}^{j} w_{i} / j \geq 1 / 2

$\sum_{i=1}^j w_i /j \geq 1/2$ . Append zeros again, then ones. Repeat ad infinitum. Now,

0

$0$ and

1

$1$ both occur an infinite number of times, but the variance of the rescaled mean oscillates between

1 / 2

$1/2$ and

1 / 4

$1/4$ (roughly). So, your stated sequence cannot converge in distribution.

— cardinal

(Note: There is nothing special about the choice of

0

$0$ and

1

$1$ , here. Also, strictly speaking the procedure you describe in the comment does not really fit within the linear-combination framework of your answer.)

— cardinal