Apa intuisi di balik independensi dan , ?

18

Saya berharap seseorang dapat mengajukan argumen yang menjelaskan mengapa variabel acak dan , memiliki distribusi normal standar, secara statistik independen. Bukti untuk fakta itu dengan mudah mengikuti dari teknik MGF, namun saya merasa sangat kontra-intuitif. $Y_1=X_2-X_1$ $Y_2=X_1+X_2$ $X_i$

Karena itu saya akan menghargai intuisi di sini, jika ada.

Terima kasih sebelumnya.

EDIT : Subskrip tidak menunjukkan Statistik Pesanan tetapi pengamatan IID dari distribusi normal standar.

probability self-study mathematical-statistics

— JohnK
sumber

Apa itu "teknik MGF"?

— Amuba mengatakan Reinstate Monica

@amoeba Ini adalah penggunaan fungsi pembangkit momen untuk menentukan distribusi variabel acak. Dalam kasus saya, saya merujuk pada teorema bahwa dan independen jika dan hanya jika , sama dengan . Pilih teknik lain dan saya yakin Anda akan sampai pada hasil yang sama.

Y_{1}

$Y_1$

Y_{2}

$Y_2$

M (t_{1}, t_{2}) = M (t_{1}, 0) \times M (0, t_{2})

$M(t_1,t_2)=M(t_1,0) \times M(0,t_2)$

M (t_{1}, t_{2})

$M(t_1,t_2)$

E (e^{t_{1} Y_{1} + t_{2} Y_{2}})

$E(e^{t_1Y_1+t_2Y_2})$

— JohnK

1

Anda mungkin menemukan beberapa wawasan di utas terkait erat di stats.stackexchange.com/questions/71260 .

— whuber

Anda mungkin mendapatkan beberapa intuisi dengan mempertimbangkan apa yang terjadi pada masing-masing jika Anda menambahkan beberapa konstan, katakanlah , untuk setiap . Dan apa yang terjadi jika Anda mengalikan setiap dengan konstanta, katakan

μ

$\mu$

X

$X$

X

$X$

σ

$\sigma$

— rvl

1

Terkait erat: Referensi untuk jumlah dan perbedaan variabel yang sangat berkorelasi menjadi hampir tidak berkorelasi .

— gung - Reinstate Monica

22

Ini adalah data terdistribusi normal standar: sebar plot dalam sistem koordinat pertama Perhatikan bahwa distribusinya simetris sirkular.

Saat Anda beralih ke dan , Anda secara efektif memutar dan menskalakan sumbu, seperti ini: Sistem koordinat baru ini memiliki asal yang sama dengan yang asli, dan porosnya ortogonal. Karena simetri sirkular, variabel masih independen dalam sistem koordinat baru. $Y_1 = X_2 - X_1$ $Y_2 = X_1 + X_2$ sebar plot dengan sistem koordinat yang diputar

— dobiwan
sumber

4

Hasilnya berlaku bahkan ketika dan berkorelasi dengan margin normal unit. Jadi penjelasan Anda hanya mencakup sebagian dari hasil asli. Namun, ide dasar di sini adalah suara.

X_{1}

$X_1$

X_{2}

$X_2$

— Glen_b -Reinstate Monica

1

@ Glen_b, ya, Anda benar. Saya ingin fokus pada kasus sederhana, karena JohnK tampaknya sudah tahu bagaimana membuktikan kasus umum, tetapi tidak memiliki pemahaman intuitif.

— dobiwan

7

Hasilnya bekerja untuk normal bersama (yaitu dengan korelasi, ), dengan common . $(X_1,X_2)$ $-1<\rho<1$ $\sigma$

Jika Anda mengetahui beberapa hasil dasar, inilah yang Anda butuhkan:

$\quad\quad\quad$ masukkan deskripsi gambar di sini

Pendekatan dobiwan pada dasarnya baik-baik saja - hanya saja hasilnya lebih umum daripada kasus yang ditangani di sana.

— Glen_b -Reinstate Monica
sumber

3

+1 untuk melepaskan hasil yang diinginkan ke esensi. Saya akan menambahkan bahwa untuk kasus yang lebih umum dari normalitas sendi dengan varian yang tidak sama, rotasi sumbu oleh alih-alih tersirat dalam menghasilkan acak normal independen variabel.

θ = \frac{1}{2} \arctan (\frac{2 ρ \cdot σ_{1} σ_{2}}{σ_{1}^{2} - σ_{2}^{2}})

$\theta = \frac{1}{2}\arctan\left ( \frac{2\rho\cdot\sigma_1\sigma_2}{\sigma_1^2 - \sigma_2^2}\right )$

\pm \frac{π}{4}

$\pm \frac{\pi}{4}$

(X_{1}, X_{2}) \to (X_{1} + X_{2} . X_{1} - X_{2})

$(X_1,X_2) \to (X_1+X_2. X_1-X_2)$

— Dilip Sarwate

6

Hasil yang Anda klaim benar tidak benar secara umum, bahkan untuk kasus ketika semua yang diketahui adalah bahwa dan adalah variabel acak normal dengan varian yang identik, tetapi hasilnya memang berlaku untuk interpretasi biasa dari kondisi yang Anda nyatakan kemudian: $X_1$ $X_2$

Subskrip tidak menunjukkan Statistik Pesanan tetapi pengamatan dari distribusi normal standar.

Interpretasi biasa dari beberapa kata terakhir dalam pernyataan ini adalah, tentu saja, bahwa dan adalah variabel acak independen (normal), dan karenanya variabel acak bersama-sama normal. $X_1$ $X_2$

Untuk bersama-sama yang normal variabel acak dengan varians identik, memang benar bahwa dan yang independen (normal) variabel-variabel acak (dengan, secara umum, variasi yang tidak sama), dan penjelasan intuitif untuk ini adalah yang terbaik yang diberikan dalam jawaban Glen_b ini. Untuk Anda kasus khusus dari dan menjadi independen juga, jawaban dobiwan, yang telah kamu terima, adalah yang paling sederhana, dan memang mengungkapkan bahwa setiap rotasi sumbu, bukan hanya oleh implisit dalam transformasi , akan menghasilkan variabel acak independen. $X_1+X_2$ $X_1-X_2$ $X_1$ $X_2$ $\pm \frac{\pi}{4}$ $(X_1,X_2)\to (X_1+X_2, X_1-X_2)$

Apa yang bisa dikatakan secara umum? Dalam semua yang saya katakan di bawah, harap diingat bahwa dan memiliki varian yang sama , tidak peduli apa properti lain yang mungkin dikaitkan dengan mereka. $X$ $Y$

Jika dan adalah variabel acak apa pun (catatan: tidak harus normal) dengan varians yang identik, maka dan adalah variabel acak tidak berkorelasi (yaitu, mereka memiliki nol kovarians). Ini karena fungsi kovarian bilinear : Di sini kita telah menggunakan fakta bahwa hanyalah varian $X$ $Y$ $X+Y$ $X-Y$

\begin{aligned} cov (X + Y, X - Y) & = cov (X, X) - cov (X, Y) + cov (Y, X) - cov (Y, Y) \\ = var (X) - cov (X, Y) + cov (X, Y) - var (Y) \\ = 0. \end{aligned}

$\begin{align} \operatorname{cov}(X+Y, X-Y) &= \operatorname{cov}(X,X) - \operatorname{cov}(X,Y) + \operatorname{cov}(Y,X) - \operatorname{cov}(Y,Y)\\ &= \operatorname{var}(X) - \operatorname{cov}(X,Y) + \operatorname{cov}(X,Y) - \operatorname{var}(Y)\\ &= 0. \end{align}$

cov (X, X)

$\operatorname{cov}(X,X)$

var (X)

$\operatorname{var}(X)$ dari (dan juga untuk ) dan, tentu saja, . Perhatikan bahwa hasil ini berlaku ketika dan adalah (secara marginal) variabel acak normal tetapi tidak harus merupakan variabel acak bersama . (Jika Anda tidak terbiasa dengan gagasan kenormalan marginal ini tidak sama dengan kenormalan sendi, lihat jawaban yang bagus ini oleh kardinal). Dalam kasus khusus ketika dan secara bersama - sama normal (tetapi tidak harus independen) variabel acak normal, demikian juga dan

X

$X$

Y

$Y$

cov (Y, X) = cov (X, Y)

$\operatorname{cov}(Y,X) = \operatorname{cov}(X,Y)$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

X + Y

$X+Y$

X - Y

$X-Y$ bersama-sama normal, dan karena kovariansnya adalah , dan adalah variabel acak independen.

0

$0$

X + Y

$X+Y$

X - Y

$X-Y$

— Dilip Sarwate
sumber

2

Saya pertama kali berdebat untuk umum yang didistribusikan secara identik bahwa rata-rata bersyarat dari bersyarat pada adalah konstan . Berdasarkan hal ini, saya berpendapat bahwa kovarians adalah 0. Kemudian, di bawah normalitas, nol kovarians menyiratkan independensi. $X_1,X_2$ $Y_1$ $Y_2$ $0$ $Y_1,Y_2$

Berarti bersyarat

Intuisi: tidak menyiratkan apa pun tentang komponen mana yang memberikan kontribusi lebih besar ke jumlah (mis., adalah sama besar kemungkinannya dengan ). Jadi, perbedaan yang diharapkan harus 0. $X_1+X_2=y$ $X_1=x, X_2 = y-x$ $X_1 = y-x, X_2=x$

Bukti: dan memiliki distribusi identik dan simetris sehubungan dengan pengindeksan. Jadi, untuk alasan simetri, distribusi bersyarat harus sama dengan distribusi bersyarat . Oleh karena itu, distribusi bersyarat juga memiliki rata-rata yang sama, dan $X_1$ $X_2$ $X_1+X_2$ $X_1 \mid Y_2 = y$ $X_2 \mid Y_2 = y$

E (Y_{1} ∣ Y_{2} = y) = E (X_{1} - X_{2} ∣ X_{1} + X_{2} = y) = E (X_{1} ∣ X_{1} + X_{2} = y) - E (X_{2} ∣ X_{1} + X_{2} = y) = 0.

$\begin{equation} \mathbb{E}(Y_1 \mid Y_2 = y) = \mathbb{E}(X_1 - X_2 \mid X_1+X_2 = y) \\ = \mathbb{E}(X_1 \mid X_1+X_2 = y) - \mathbb{E}(X_2 \mid X_1+X_2 = y)= 0. \end{equation}$

(Peringatan: Saya tidak mempertimbangkan kemungkinan bahwa syarat bersyarat mungkin tidak ada.)

Rata-rata kondisional konstan menyiratkan nol korelasi / kovarian

Intuisi: korelasi mengukur seberapa besar cenderung meningkat ketika meningkat. Jika mengamati tidak pernah mengubah rata-rata , dan tidak berkorelasi. $Y_1$ $Y_2$ $Y_2$ $Y_1$ $Y_1$ $Y_2$

Bukti: Menurut definisi, kovarians adalah untuk ekspektasi ini, kami menerapkan hukum ekspektasi berulang: mengambil ekspektasi ekspektasi bersyarat pada : Ingat bahwa mean bersyarat ditunjukkan independen dari dan dengan demikian ungkapan disederhanakan sebagai

C Hai v (Y_{1}, Y_{2}) = E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2}))]

$\begin{equation} Cov(Y_1,Y_2) = \mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right)\right] \end{equation}$

Y_{2}

$Y_2$

= E [E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2})) ∣ Y_{2}]] = E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1}) ∣ Y_{2}]] .

$\begin{equation} = \mathbb{E}\left[\mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right) \mid Y_2\right]\right] = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1 - \mathbb{E}(Y_1) \mid Y_2\right] \right]. \end{equation}$

Y_{2}

$Y_2$

= E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1})]]

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1-\mathbb{E}(Y_1)\right]\right] \end{equation}$ tetapi ekspektasi dalam adalah dan kita mendapatkan

0

$0$

= E [(Y_{2} - E (Y_{2})) \times 0] = 0.

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\times0\right] = 0. \end{equation}$

Kemerdekaan

Hanya dengan mengasumsikan distribusi identik untuk , ditunjukkan bahwa dan tidak berkorelasi. Ketika adalah normal bersama (misalnya, iid. Normal seperti dalam pertanyaan), kombinasi juga normal bersama dan dengan demikian tidak berkorelasi menyiratkan independensi. $X_1,X_2$ $Y_1$ $Y_2$ $X_1,X_2$ $Y_1,Y_2$

— Juho Kokkala
sumber