Varians dari variabel acak terbatas

22

Misalkan variabel acak memiliki batas bawah dan atas [0,1]. Bagaimana cara menghitung varians dari variabel seperti itu?

variance standard-deviation measurement-error

— Piotr
sumber

8

Cara yang sama seperti untuk variabel tak terbatas - menetapkan integrasi atau batas penjumlahan secara tepat.

— Scortchi

2

Seperti yang dikatakan @Scortchi. Tapi saya ingin tahu mengapa Anda berpikir itu mungkin berbeda?

— Peter Flom - Reinstate Monica

3

Kecuali jika Anda tidak tahu apa-apa tentang variabel (dalam hal ini batas atas varians dapat dihitung dari keberadaan batas), mengapa fakta bahwa itu terikat masuk ke dalam perhitungan?

— Glen_b -Reinstate Monica

6

Batas atas yang berguna pada varian variabel acak yang mengambil nilai dalam dengan probabilitas adalah dan dicapai oleh variabel acak diskrit yang mengambil nilai dan dengan probabilitas yang sama . Hal lain yang perlu diingat adalah bahwa varians dijamin ada sedangkan variabel acak tidak terikat mungkin tidak memiliki varians (beberapa, seperti variabel acak Cauchy bahkan tidak memiliki rata-rata).

[a, b]

$[a,b]$

1

$1$

(b - a)^{2} / 4

$(b-a)^2/4$

a

$a$

b

$b$

\frac{1}{2}

$\frac{1}{2}$

— Dilip Sarwate

7

Ada adalah variabel diskrit acak yang varians sama persis: variabel acak yang mengambil nilai-nilai dan dengan probabilitas yang sama . Jadi, setidaknya kita tahu bahwa batas atas universal pada varian tidak boleh lebih kecil dari .

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

a

$a$

b

$b$

\frac{1}{2}

$\frac{1}{2}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Dilip Sarwate

46

Anda dapat membuktikan ketidaksetaraan Popoviciu sebagai berikut. Gunakan notasi dan . Tentukan fungsi oleh Menghitung turunan , dan menyelesaikan kami menemukan bahwa mencapai minimum pada ( perhatikan bahwa ). $m=\inf X$ $M=\sup X$ $g$

g (t) = E [{(X - t)}^{2}] .

$g(t)=\mathbb{E}\left[\left(X-t\right)^2\right] \, .$

g^{'}

$g'$

g^{'} (t) = - 2 E [X] + 2 t = 0,

$g'(t) = -2\mathbb{E}[X] +2t=0 \, ,$

g

$g$

t = E [X]

$t=\mathbb{E}[X]$

g^{″} > 0

$g''>0$

Sekarang, pertimbangkan nilai fungsi pada titik khusus . Itu harus menjadi kasus yang Tetapi Karena dan , kami memiliki menyiratkan bahwa $g$ $t=\frac{M+m}{2}$

V Sebuah r [X] = g (E [X]) \leq g (\frac{M. + m}{2}) .

$\mathbb{Var}[X]=g(\mathbb{E}[X])\leq g\left(\frac{M+m}{2}\right) \, .$

g (\frac{M + m}{2}) = E [{(X - \frac{M + m}{2})}^{2}] = \frac{1}{4} E [{((X - m) + (X - M))}^{2}] .

$g\left(\frac{M+m}{2}\right) = \mathbb{E}\left[\left(X - \frac{M+m}{2}\right)^2 \right] = \frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \, .$

X - m \geq 0

$X-m\geq 0$

X - M \leq 0

$X-M\leq 0$

{((X - m) + (X - M))}^{2} \leq {((X - m) - (X - M))}^{2} = {(M - m)}^{2},

$\left((X-m)+(X-M)\right)^2\leq\left((X-m)-(X-M)\right)^2=\left(M-m\right)^2 \, ,$

\frac{1}{4} E [{((X - m) + (X - M))}^{2}] \leq \frac{1}{4} E [{((X - m) - (X - M))}^{2}] = \frac{(M - m)^{2}}{4} .

$\frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \leq \frac{1}{4}\mathbb{E}\left[\left((X-m) - (X-M)\right)^2 \right] = \frac{(M-m)^2}{4} \, .$

Karenanya, kami membuktikan ketidaksetaraan

V a r [X] \leq \frac{(M - m)^{2}}{4} .

$\mathbb{Var}[X]\leq \frac{(M-m)^2}{4} \, .$

— Zen
sumber

3

Pendekatan yang bagus: senang melihat demonstrasi yang ketat tentang hal-hal semacam ini.

— whuber

22

+1 Bagus! Saya belajar statistik jauh sebelum komputer berada dalam mode, dan satu ide yang dibor ke kami adalah bahwa yang memungkinkan untuk perhitungan varians dengan menemukan jumlah kuadrat dari penyimpangan dari titik dan kemudian menyesuaikan bias. Di sini tentu saja, identitas ini memberikan bukti sederhana dari hasil bahwa memiliki nilai minimum pada tanpa keharusan turunan, dll.

E [(X - t)^{2}] = E [((X - μ) - (t - μ))^{2}] = E [(X - μ)^{2}] + (t - μ)^{2}

$E[(X-t)^2] = E[((X-\mu)-(t-\mu))^2] = E[(X-\mu)^2]+(t-\mu)^2$

t

$t$

g (t)

$g(t)$

t = μ

$t=\mu$

— Dilip Sarwate

18

Biarkan menjadi distribusi pada . Kami akan menunjukkan bahwa jika varians dari maksimal, maka dapat memiliki tidak ada dukungan di pedalaman, dari yang berikut bahwa adalah Bernoulli dan sisanya adalah sepele. $F$ $[0,1]$ $F$ $F$ $F$

Sebagai soal notasi, biarkan menjadi th saat baku dari (dan, seperti biasa, kita menulis dan untuk varians). $\mu_k = \int_0^1 x^k dF(x)$ $k$ $F$ $\mu = \mu_1$ $\sigma^2 = \mu_2 - \mu^2$

Kita tahu tidak memiliki semua dukungannya pada satu titik (variansnya minimal dalam hal itu). Antara lain, ini menyiratkan benar-benar terletak antara dan . Untuk berdebat dengan kontradiksi, anggaplah ada beberapa himpunan bagian dapat diukur di bagian dalam yang . Tanpa kehilangan sifat umum kita dapat mengasumsikan (dengan mengubah ke jika perlu) bahwa : dengan kata lain, diperoleh dengan memotong semua bagian dari atas mean dan $F$ $\mu$ $0$ $1$ $I$ $(0,1)$ $F(I)\gt 0$ $X$ $1-X$ $F(J = I \cap (0, \mu]) \gt 0$ $J$ $I$ $J$ memiliki probabilitas positif.

Mari kita ubah ke dengan mengambil semua probabilitas dari dan menempatkannya pada . $F$ $F'$ $J$ $0$ Dengan demikian, berubah menjadi $\mu_k$

μ_{k}^{'} = μ_{k} - \int_{J} x^{k} d F (x) .

$\mu'_k = \mu_k - \int_J x^k dF(x).$

Sebagai notasi, marilah kita menulis untuk integral tersebut, dari mana $[g(x)] = \int_J g(x) dF(x)$

μ_{2}^{'} = μ_{2} - [x^{2}], μ^{'} = μ - [x] .

$\mu'_2 = \mu_2 - [x^2], \quad \mu' = \mu - [x].$

Menghitung

σ^{' 2} = μ_{2}^{'} - μ^{' 2} = μ_{2} - [x^{2}] - (μ - [x])^{2} = σ^{2} + ((μ [x] - [x^{2}]) + (μ [x] - [x]^{2})) .

$\sigma'^2 = \mu'_2 - \mu'^2 = \mu_2 - [x^2] - (\mu - [x])^2 = \sigma^2 + \left((\mu[x] - [x^2]) + (\mu[x] - [x]^2)\right).$

Istilah kedua di sebelah kanan, , adalah non-negatif karena mana-mana di . Istilah pertama di sebelah kanan dapat ditulis ulang $(\mu[x] - [x]^2)$ $\mu \ge x$ $J$

μ [x] - [x^{2}] = μ (1 - [1]) + ([μ] [x] - [x^{2}]) .

$\mu[x] - [x^2] = \mu(1 - [1]) + ([\mu][x] - [x^2]).$

Istilah pertama di sebelah kanan adalah benar - benar positif karena (a) dan (b) karena kita mengasumsikan tidak terkonsentrasi pada suatu titik. Istilah kedua adalah non-negatif karena dapat ditulis ulang sebagai dan integand ini tidak negatif dari asumsi pada dan . Oleh karena itu . $\mu \gt 0$ $[1] = F(J) \lt 1$ $F$ $[(\mu-x)(x)]$ $\mu \ge x$ $J$ $0 \le x \le 1$ $\sigma'^2 - \sigma^2 \gt 0$

Kami baru saja menunjukkan bahwa berdasarkan asumsi kami, mengubah ke secara ketat meningkatkan variansnya. Maka satu-satunya cara ini tidak dapat terjadi adalah ketika semua probabilitas terkonsentrasi pada titik akhir dan , dengan (katakanlah) masing-masing nilai dan . Variansnya mudah dihitung hingga sama dengan yang maksimal ketika dan sama dengan sana. $F$ $F'$ $F'$ $0$ $1$ $1-p$ $p$ $p(1-p)$ $p=1/2$ $1/4$

Sekarang ketika adalah distribusi pada , kami memasukkan kembali dan mengubah skala ke distribusi pada . Recentering tidak mengubah varians sedangkan rescaling membaginya dengan . Jadi dengan varians maksimal pada sesuai dengan distribusi dengan varians maksimal pada : karena itu adalah distribusi Bernoulli diubah dan diterjemahkan ke memiliki varian 2/4 , QED . $F$ $[a,b]$ $[0,1]$ $(b-a)^2$ $F$ $[a,b]$ $[0,1]$ $(1/2)$ $[a,b]$ $(b-a)^2/4$

— whuber
sumber

Menarik, whuber. Saya tidak tahu bukti ini.

— Zen

6

@ Zen Sama sekali tidak seanggun milikmu. Saya menawarkannya karena saya telah menemukan diri saya selama bertahun-tahun berpikir dengan cara ini ketika dihadapkan dengan ketidaksetaraan distribusi yang jauh lebih rumit: Saya bertanya bagaimana kemungkinannya dapat diubah untuk membuat ketidaksetaraan lebih ekstrem. Sebagai heuristik intuitif, ini berguna. Dengan menggunakan pendekatan seperti yang diuraikan di sini, saya menduga teori umum untuk membuktikan kelas besar ketidaksetaraan dapat diturunkan, dengan semacam rasa hibrida dari Kalkulus Variasi dan teknik pengali Lagrange (dimensional finite).

— whuber

Sempurna: jawaban Anda penting karena menggambarkan teknik yang lebih umum yang dapat digunakan untuk menangani banyak kasus lainnya.

— Zen

@whuber berkata - "Saya bertanya bagaimana probabilitas dapat diubah untuk membuat ketidaksetaraan lebih ekstrem." - ini sepertinya cara alami untuk berpikir tentang masalah seperti itu.

— Glen_b -Reinstate Monica

Tampaknya ada beberapa kesalahan dalam derivasi. Itu harusJuga, tidak sama dengan karena tidak sama dengan

μ [x] - [x^{2}] = μ (1 - [1]) [x] + ([μ] [x] - [x^{2}]) .

$\mu[x] - [x^2] = \mu(1 - [1])[x] + ([\mu][x] - [x^2]).$

[(μ - x) (x)]

$[(\mu-x)(x)]$

[μ] [x] - [x^{2}]

$[\mu][x] - [x^2]$

[μ] [x]

$[\mu][x]$

μ [x]

$\mu[x]$

— Leo

13

Jika variabel acak dibatasi untuk dan kita tahu rata-rata , varians dibatasi oleh . $[a,b]$ $\mu=E[X]$ $(b-\mu)(\mu-a)$

Mari kita perhatikan kasus . Perhatikan bahwa untuk semua , , karenanya juga . Dengan menggunakan hasil ini, $a=0, b=1$ $x\in [0,1]$ $x^2\leq x$ $E[X^2]\leq E[X]$

σ^{2} = E [X^{2}] - (E [X]^{2}) = E [X^{2}] - μ^{2} \leq μ - μ^{2} = μ (1 - μ) .

$\begin{equation} \sigma^2 = E[X^2] - (E[X]^2) = E[X^2] - \mu^2 \leq \mu - \mu^2 = \mu(1-\mu). \end{equation}$

Untuk menggeneralisasi ke interval dengan , pertimbangkan terbatas pada . Tentukan , yang dibatasi dalam . Secara ekivalen, , dan dengan demikian mana ketidaksetaraan didasarkan pada hasil pertama. Sekarang, dengan mengganti , sama dengan yang merupakan hasil yang diinginkan. $[a,b]$ $b>a$ $Y$ $[a,b]$ $X=\frac{Y-a}{b-a}$ $[0,1]$ $Y = (b-a)X + a$

V a r [Y] = (b - a)^{2} V a r [X] \leq (b - a)^{2} μ_{X} (1 - μ_{X}) .

$\begin{equation} Var[Y] = (b-a)^2Var[X] \leq (b-a)^2\mu_X (1-\mu_X). \end{equation}$

μ_{X} = \frac{μ_{Y} - a}{b - a}

$\mu_X = \frac{\mu_Y - a}{b-a}$

(b - a)^{2} \frac{μ_{Y} - a}{b - a} (1 - \frac{μ_{Y} - a}{b - a}) = (b - a)^{2} \frac{μ_{Y} - a}{b - a} \frac{b - μ_{Y}}{b - a} = (μ_{Y} - a) (b - μ_{Y}),

$\begin{equation} (b-a)^2\, \frac{\mu_Y - a}{b-a}\,\left(1- \frac{\mu_Y - a}{b-a}\right) = (b-a)^2 \frac{\mu_Y -a}{b-a}\,\frac{b - \mu_Y}{b-a} = (\mu_Y - a)(b- \mu_Y), \end{equation}$

— Juho Kokkala
sumber

8

Atas permintaan @ user603 ....

Batas atas yang berguna pada varians dari variabel acak yang mengambil nilai dalam dengan probabilitas adalah . Bukti untuk kasus khusus (yang ditanyakan OP) dapat ditemukan di sini di math.SE , dan mudah disesuaikan dengan kasus yang lebih umum. Seperti disebutkan dalam komentar saya di atas dan juga dalam jawaban yang dirujuk di sini, variabel acak diskrit yang mengambil nilai dan dengan probabilitas yang sama memiliki varians dan dengan demikian tidak ada batasan umum yang lebih ketat dapat ditemukan. $\sigma^2$ $[a,b]$ $1$ $\sigma^2 \leq \frac{(b−a)^2}{4}$ $a=0, b=1$ $a$ $b$ $\frac{1}{2}$ $\frac{(b−a)^2}{4}$

Hal lain yang perlu diingat adalah bahwa variabel acak terikat memiliki varians terbatas, sedangkan untuk variabel acak tak terikat, varians mungkin tidak terbatas, dan dalam beberapa kasus bahkan mungkin tidak dapat didefinisikan. Sebagai contoh, rata-rata tidak dapat didefinisikan untuk variabel acak Cauchy , dan karenanya seseorang tidak dapat mendefinisikan varians (seperti harapan deviasi kuadrat dari rata-rata).

— Dilip Sarwate
sumber

ini adalah kasus khusus dari jawaban Juho

— Aksakal

Itu hanya komentar, tetapi saya juga bisa menambahkan bahwa jawaban ini tidak menjawab pertanyaan yang diajukan.

— Aksakal

@Aksakal Jadi ??? Juho menjawab pertanyaan yang sedikit berbeda dan jauh lebih baru diajukan. Pertanyaan baru ini telah digabungkan dengan pertanyaan yang Anda lihat di atas, yang saya jawab sepuluh bulan lalu.

— Dilip Sarwate

0

apakah Anda yakin bahwa ini berlaku secara umum - untuk distribusi yang berkelanjutan dan terpisah? Bisakah Anda memberikan tautan ke halaman lain? Untuk distribusi umum pada sepele untuk menunjukkan bahwa Saya dapat membayangkan bahwa ada ketimpangan yang lebih tajam ... Apakah Anda membutuhkan faktor untuk hasil Anda? $[a,b]$

V Sebuah r (X) = E [(X - E [X])^{2}] \leq E [(b - Sebuah)^{2}] = (b - Sebuah)^{2} .

$Var(X) = E[(X-E[X])^2] \le E[(b-a)^2] = (b-a)^2.$

1 / 4

$1/4$

Di sisi lain kita dapat menemukannya dengan faktor bawah nama Popoviciu's_inequality di wikipedia. $1/4$

Artikel ini terlihat lebih baik daripada artikel wikipedia ...

Untuk distribusi yang seragam itu menyatakan bahwa

V Sebuah r (X) = \frac{(b - Sebuah)^{2}}{12} .

$Var(X) = \frac{(b-a)^2}{12}.$

— Ric
sumber

Halaman ini menyatakan hasil dengan permulaan bukti yang terlalu sedikit terlibat bagi saya karena tampaknya memerlukan pemahaman tentang "Teorema Dasar Pemrograman Linear". sci.tech-archive.net/Archive/sci.math/2008-06/msg01239.html

— Adam Russell

Terima kasih telah menyebutkan nama ini! "Ketimpangan Popoviciu" adalah yang saya butuhkan.

— Adam Russell

2

Jawaban ini membuat beberapa saran yang salah: memang benar. Referensi untuk ketidaksetaraan Popoviciu akan bekerja, tetapi secara tegas itu berlaku hanya untuk distribusi dengan dukungan terbatas (khususnya, yang tidak menyertakan distribusi berkelanjutan). Argumen yang membatasi akan melakukan trik, tetapi sesuatu yang ekstra diperlukan di sini.

1 / 4

$1/4$

— whuber

2

Distribusi kontinu dapat mendekati yang diskrit (dalam istilah cdf) secara sewenang-wenang dekat (misalnya membangun kepadatan kontinu dari diskrit tertentu dengan menempatkan kernel berbentuk Beta kecil (4,4) yang dipusatkan pada setiap titik massa - area yang sesuai - dan biarkan deviasi standar masing-masing kernel menyusut ke nol sambil menjaga daerahnya konstan). Batas diskrit seperti yang dibahas di sini juga akan bertindak sebagai batasan pada distribusi berkelanjutan. Saya berharap Anda berpikir tentang distribusi unimodal terus menerus ... yang memang memiliki batas atas yang berbeda.

— Glen_b -Reinstate Monica

2

Yah ... jawaban saya adalah yang paling tidak membantu tetapi saya akan meninggalkannya di sini karena komentar yang bagus. Cheers, R

— Ric