Apa intuisi di balik distribusi bersyarat Gaussian?

Misalkan . Kemudian distribusi bersyarat dari mengingat bahwa terdistribusi multivariat yang biasanya dengan mean: $\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma})$ $X_1$ $X_2 = x_2$

E [P (X_{1} | X_{2} = x_{2})] = μ_{1} + \frac{σ_{12}}{σ_{22}} (x_{2} - μ_{2})

$E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2)$

dan varians:

V a r [P (X_{1} | X_{2} = x_{2})] = σ_{11} - \frac{σ_{12}^{2}}{σ_{22}}

${\rm Var}[P(X_1 | X_2 = x_2)] = \sigma_{11}-\frac{\sigma_{12}^{2}}{\sigma_{22}}$

Masuk akal bahwa varians akan berkurang karena kami memiliki lebih banyak informasi. Tapi apa intuisi di balik rumus yang berarti? Bagaimana faktor kovarians antara dan menjadi rata-rata bersyarat? $X_1$ $X_2$

normal-distribution multivariate-analysis intuition

— eroeijr
sumber

Apakah pertanyaan Anda hanya 'mengapa tidak berarti distribusi bersyarat = '?

μ_{1}

$\mu_1$

— gung - Reinstate Monica

@ung: Ini benar jika . Tetapi mengapa dan terlibat?

x_{2} = μ_{2}

$x_2 = \mu_2$

σ_{11}

$\sigma_{11}$

σ_{22}

$\sigma_{22}$

— eroeijr

Dalam satuan alami ("standar") kita menulis mana . Dalam istilah ini distribusi bersyarat adalah Normal dengan danFakta bahwa disebut "mean reversion" atau "regresi ke mean" : ada literatur teknis dan populer yang luas mengenai hal ini selama 130 tahun.

X_{i} = μ_{1} + σ_{i} Z_{i}

$X_i=\mu_1+\sigma_iZ_i$

σ_{i} = \sqrt{σ_{i i}}

$\sigma_i=\sqrt{\sigma_{ii}}$

E (Z_{1} | Z_{2}) = ρ Z_{2}

$\mathbb{E}(Z_1|Z_2)=\rho Z_2$

ρ = σ_{12} / (σ_{1} σ_{2}) .

$\rho=\sigma_{12}/(\sigma_1\sigma_2).$

| ρ | \leq 1

$|\rho|\le 1$

— whuber

Katakanlah, eroeijr, apakah ini milikmu? (Selain dari 'tamu' di awal ada kesamaan yang berbeda dalam nama.) Jika itu milik Anda, Anda harus meminta untuk menggabungkan kedua akun dan mengambil bonus besar dalam poin yang Anda miliki.

— Glen_b

Seperti yang disarankan @Glen_b, jika Anda memiliki beberapa akun (tidak terdaftar), silakan isi formulir di stats.stackexchange.com/contact dan minta agar mereka digabung.

— chl

Ringkasan

Setiap pernyataan dalam pertanyaan dapat dipahami sebagai properti elips. The satunya properti tertentu untuk distribusi normal bivariat yang diperlukan adalah fakta bahwa dalam standar bivariat distribusi normal --Untuk yang dan tidak berkorelasi - varians bersyarat dari tidak tergantung pada . (Ini pada gilirannya adalah konsekuensi langsung dari fakta bahwa kurangnya korelasi menyiratkan independensi untuk variabel Normal bersama.) $X,Y$ $X$ $Y$ $Y$ $X$

Analisis berikut menunjukkan dengan tepat properti elips apa yang terlibat dan memperoleh semua persamaan pertanyaan menggunakan ide-ide dasar dan aritmatika yang paling sederhana, dengan cara yang dimaksudkan agar mudah diingat.

Distribusi sirkular simetris

Distribusi pertanyaan adalah anggota keluarga dari distribusi Normal bivariat. Mereka semua berasal dari anggota dasar, standar bivariat Normal, yang menggambarkan dua distribusi Normal standar tidak berkorelasi (membentuk dua koordinatnya).

Gambar 1: distribusi normal bivariat standar

Sisi kiri adalah plot relief dengan kepadatan normal bivariat standar. Sisi kanan menunjukkan hal yang sama dalam pseudo-3D, dengan bagian depan diiris.

Ini adalah contoh distribusi simetris sirkuler : kepadatan bervariasi dengan jarak dari titik pusat tetapi tidak dengan arah yang jauh dari titik itu. Dengan demikian, kontur grafiknya (di sebelah kanan) adalah lingkaran.

Kebanyakan distribusi normal bivariat lainnya tidak simetris sirkular, namun: penampang melintangnya adalah elips. Elips ini memodelkan bentuk karakteristik dari banyak awan titik bivariat.

Gambar 2: distribusi normal bivariat lainnya, diplot

Ini adalah potret dari distribusi Normal bivariat dengan matriks kovarian Ini adalah model untuk data dengan koefisien korelasi. $\Sigma = \left(\begin{array}{cc} 1 & -\frac{2}{3} \\ -\frac{2}{3} & 1 \\\end{array}\right).$ $-2/3$

Cara Membuat Elips

Elips - menurut definisi tertua - adalah bagian berbentuk kerucut, yang merupakan lingkaran yang terdistorsi oleh proyeksi ke bidang lain. Dengan mempertimbangkan sifat proyeksi, seperti halnya seniman visual, kita dapat menguraikannya menjadi urutan distorsi yang mudah dipahami dan dihitung.

Pertama, regangkan (atau, jika perlu, tekan) lingkaran di sepanjang apa yang akan menjadi sumbu panjang elips sampai panjangnya benar:

Langkah 1: regangkan

Selanjutnya, peras (atau regangkan) elips ini di sepanjang sumbu minornya:

Langkah 2: peras

Ketiga, putar di sekitar pusatnya ke dalam orientasi terakhir:

Langkah 3: putar

Terakhir, geser ke lokasi yang diinginkan:

Langkah 4: bergeser

Ini semua adalah transformasi affine. (Faktanya, tiga yang pertama adalah transformasi linier ; pergeseran terakhir membuatnya affine.) Karena komposisi transformasi affine (menurut definisi) masih affine, distorsi bersih dari lingkaran ke elips akhir adalah transformasi affine. Tapi itu bisa agak rumit:

Transformasi komposit

Perhatikan apa yang terjadi pada sumbu elips (alami): setelah mereka dibuat oleh shift dan squeeze, mereka (tentu saja) berputar dan bergeser seiring dengan sumbu itu sendiri. Kita dengan mudah melihat sumbu ini bahkan ketika mereka tidak ditarik, karena mereka adalah sumbu simetri elips itu sendiri.

Kami ingin menerapkan pemahaman kami tentang elips untuk memahami distribusi simetris sirkular yang terdistorsi, seperti keluarga Normal bivariat. Sayangnya, ada masalah dengan distorsi ini : mereka tidak menghargai perbedaan antara sumbu dan . Rotasi pada langkah 3 merusaknya. Lihat samar koordinat grid di latar belakang: acara ini apa yang terjadi pada grid (dari jala $x$ $y$ $1/2$ di kedua arah) ketika terdistorsi. Pada gambar pertama jarak antara garis vertikal asli (ditunjukkan padatan) digandakan. Pada gambar kedua jarak antara garis horizontal asli (ditunjukkan putus-putus) menyusut sepertiga. Pada gambar ketiga jarak grid tidak berubah, tetapi semua garis diputar. Mereka bergeser ke atas dan ke kanan di gambar keempat. Gambar akhir, menunjukkan hasil bersih, menampilkan kisi yang direntangkan, diperas, diputar, dan digeser. Garis solid asli dari konstanta tidak lagi vertikal. $x$

Kunci Ide --one mungkin berani mengatakan itu adalah yang inti dari regresi - adalah bahwa ada cara di mana lingkaran dapat terdistorsi menjadi elips tanpa berputar garis vertikal . Karena rotasi adalah biang keladinya, mari kita potong ke pengejaran dan perlihatkan cara membuat elips yang diputar tanpa benar-benar tampak memutar apa pun !

Elips miring

Ini adalah transformasi miring. Ini sebenarnya melakukan dua hal sekaligus:

Itu meremas ke arah (dengan jumlah , katakanlah). Ini meninggalkan -aksi sendirian. $y$ $\lambda$ $x$
Ini mengangkat setiap titik yang dihasilkan dengan jumlah yang berbanding lurus dengan . Menulis konstanta proporsionalitas sebagai , ini mengirimkan ke . $(x,y)$ $x$ $\rho$ $(x,y)$ $(x, y+\rho x)$

Langkah kedua mengangkat sumbu ke baris , yang ditunjukkan pada gambar sebelumnya. Seperti yang ditunjukkan pada gambar itu, saya ingin bekerja dengan transformasi kemiringan khusus, yang secara efektif memutar elips sebesar 45 derajat dan menuliskannya ke dalam unit square. Sumbu utama elips ini adalah garis . Jelas secara visual bahwa . (Nilai negatif miringkan elips ke kanan daripada ke kanan.) Ini adalah penjelasan geometris dari "regresi ke rata-rata." $x$ $y=\rho x$ $y=x$ $|\rho| \le 1$ $\rho$

Memilih sudut 45 derajat membuat elips simetris diagonal diagonal (bagian dari garis ). Untuk mengetahui parameter transformasi miring ini, perhatikan: $y=x$

Pengangkatan oleh memindahkan titik ke . $\rho x$ $(1,0)$ $(1,\rho)$
Simetri di sekitar diagonal utama kemudian menyiratkan titik juga terletak pada elips. $(\rho, 1)$

Di mana titik ini dimulai?

Titik asli (atas) pada lingkaran satuan (memiliki persamaan implisit ) dengan koordinat adalah $x^2+y^2=1$ $x$ $\rho$ . $(\rho, \sqrt{1-\rho^2})$
Setiap titik dari bentuk pertama kali diperas ke dan kemudian diangkat ke . $(\rho, y)$ $(\rho, \lambda y)$ $(\rho, \lambda y + \rho\times\rho)$

Solusi unik untuk persamaan adalah $(\rho, \lambda \sqrt{1-\rho^2} + \rho^2) = (\rho, 1)$ . Itu adalah jumlah di mana semua jarak dalam arah vertikal harus diperas untuk membuat elips pada sudut 45 derajat ketika miring secara vertikal oleh. $\lambda = \sqrt{1-\rho^2}$ $\rho$

Untuk menguatkan ide-ide ini, inilah tablo yang menunjukkan bagaimana distribusi simetris sirkuler terdistorsi menjadi distribusi dengan kontur elips melalui transformasi miring ini. Panel menunjukkan nilai-nilai sama untuk dan dari kiri ke kanan. $\rho$ $0,$ $3/10,$ $6/10,$ $9/10,$

Tablo

Gambar paling kiri menunjukkan satu set titik awal di sekitar salah satu kontur lingkaran serta bagian dari sumbu horizontal. Gambar berikutnya menggunakan panah untuk menunjukkan bagaimana titik-titik itu dipindahkan. Gambar sumbu horizontal muncul sebagai segmen garis miring (dengan kemiringan ). (Warna-warna mewakili jumlah kepadatan yang berbeda dalam angka yang berbeda.) $\rho$

Aplikasi

Kami siap melakukan regresi. Metode standar, elegan (namun sederhana) untuk melakukan regresi adalah pertama-tama untuk mengekspresikan variabel asli dalam satuan pengukuran baru: kami memusatkan mereka pada cara mereka dan menggunakan standar deviasi sebagai unit. Ini memindahkan pusat distribusi ke titik asal dan membuat semua kontur elipsnya miring 45 derajat (naik atau turun).

Ketika data terstandarisasi ini membentuk awan titik melingkar, regresi itu mudah: sarana yang bersyarat pada semuanya , membentuk garis yang melewati titik asal. (Simetri sirkular menyiratkan simetri sehubungan dengan sumbu , menunjukkan bahwa semua distribusi bersyarat simetris, di mana mereka memiliki berarti.) Seperti yang telah kita lihat, kita dapat melihat distribusi standar sebagai timbul dari situasi sederhana dasar ini dalam dua langkah: pertama , semua nilai (standar) dikalikan dengan $x$ $0$ $x$ $0$ $y$ untuk beberapa nilai; selanjutnya, semua nilai dengankoordinat secara vertikal condong oleh. Apa yang dilakukan distorsi ini terhadap garis regresi (yang memplot cara bersyarat terhadap)? $\sqrt{1-\rho^2}$ $\rho$ $x$ $\rho x$ $x$

Penyusutan koordinat mengalikan semua penyimpangan vertikal dengan konstanta. Ini hanya mengubah skala vertikal dan meninggalkan semua sarana kondisional tidak berubah pada . $y$ $0$
Transformasi kemiringan vertikal menambahkan ke semua nilai kondisional pada , dengan demikian menambahkan ke rata-rata kondisionalnya: kurva adalah kurva regresi, yang ternyata berupa garis. $\rho x$ $x$ $\rho x$ $y=\rho x$

Demikian pula, kami dapat memverifikasi bahwa karena -aksi adalah kuadrat terkecil yang cocok dengan distribusi simetris sirkuler, kuadrat terkecil yang cocok dengan distribusi yang ditransformasikan juga adalah garis : garis kuadrat-terkecil bertepatan dengan garis regresi. $x$ $y=\rho x$

Hasil yang indah ini adalah konsekuensi dari kenyataan bahwa transformasi kemiringan vertikal tidak mengubah koordinat . $x$

Kita dapat dengan mudah mengatakan lebih banyak:

Peluru pertama (sekitar menyusut) menunjukkan bahwa ketika memiliki setiap distribusi simetris sirkuler, varians bersyarat dari dikalikan dengan $(X,Y)$ $Y|X$ . $\left(\sqrt{1-\rho^2}\right)^2 = 1 - \rho^2$
Lebih umum: transformasi kemiringan vertikal mengubah setiap distribusi kondisional dengan dan kemudian diperbarui oleh. $\sqrt{1-\rho^2}$ $\rho x$

Untuk distribusi Normal bivariat standar, varian bersyarat adalah konstan (sama dengan ), tidak tergantung pada . Kami segera menyimpulkan bahwa setelah menerapkan transformasi miring ini, varians kondisional dari penyimpangan vertikal masih konstan dan sama dengan . Karena distribusi bersyarat dari Normal bivariat itu sendiri adalah Normal, sekarang kita tahu cara dan variansnya, kami memiliki informasi lengkap tentang mereka. $1$ $x$ $1-\rho^2$

Akhirnya, kita perlu menghubungkan dengan matriks kovarian asli . $\rho$ $\Sigma$ Untuk ini, mengingat bahwa (paling baik) definisi koefisien korelasi antara dua standar variabel dan adalah harapan dari produk mereka . (Korelasi dan hanya dinyatakan sebagai korelasi dari versi standar mereka.) Oleh karena itu, ketika mengikuti setiap distribusi simetris sirkuler dan kami menerapkan transformasi condong ke variabel, kita dapat menulis $X$ $Y$ $XY$ $X$ $Y$ $(X,Y)$

ε = Y - ρ X

$\varepsilon = Y - \rho X$

untuk penyimpangan vertikal dari garis regresi dan perhatikan bahwa harus memiliki distribusi simetris sekitar . Mengapa? Karena sebelum transformasi skew diterapkan, memiliki distribusi simetris sekitar dan kemudian kita (a) meremasnya dan (b) mengangkatnya dengan . Yang pertama tidak mengubah simetrinya sedangkan yang terakhir memusatkannya kembali pada , QED. Gambar berikut menggambarkan hal ini. $\varepsilon$ $0$ $Y$ $0$ $\rho X$ $\rho X$

Plot 3D menunjukkan distribusi bersyarat dan garis kuadrat-terkecil

Garis hitam melacak ketinggian proporsional dengan kepadatan bersyarat pada berbagai nilai berjarak secara teratur . Garis putih tebal adalah garis regresi, yang melewati pusat simetri setiap kurva kondisional. Plot ini menunjukkan kasus di koordinat standar. $x$ $\rho = -1/2$

Karena itu

E (X Y) = E (X (ρ X + ε)) = ρ E (X^{2}) + E (X ε) = ρ (1) + 0 = ρ .

$\mathbb{E}(XY) = \mathbb{E}\left(X(\rho X + \varepsilon)\right) = \rho\mathbb{E}(X^2) + \mathbb{E}(X\varepsilon) = \rho(1) + 0=\rho.$

Kesetaraan final disebabkan oleh dua fakta: (1) karena telah distandarisasi, ekspektasi kuadratnya adalah varian standarnya, sama dengan oleh konstruksi; dan (2) ekspektasi sama dengan ekspektasi berdasarkan simetri . Karena yang terakhir adalah negatif dari yang pertama, keduanya harus sama dengan : istilah ini keluar. $X$ $1$ $X\varepsilon$ $X(-\varepsilon)$ $\varepsilon$ $0$

Kami telah mengidentifikasi parameter transformasi skew, , sebagai koefisien korelasi dan . $\rho$ $X$ $Y$

Kesimpulan

Dengan mengamati bahwa setiap elips dapat dihasilkan dengan mendistorsi lingkaran dengan transformasi kemiringan vertikal yang mempertahankan koordinat , kita telah sampai pada pemahaman kontur dari setiap distribusi variabel acak yang diperoleh dari simetris sirkular satu melalui peregangan, remasan, rotasi, dan pergeseran (yaitu, setiap transformasi affine). Dengan menyatakan kembali hasilnya dalam satuan asli dan - jumlah yang ditambahkan kembali rata-rata, dan , setelah dikalikan dengan standar deviasi mereka $x$ $(X,Y)$ $x$ $y$ $\mu_x$ $\mu_y$ $\sigma_x$ dan --kami menemukan bahwa: $\sigma_y$

Garis kuadrat-terkecil dan kurva regresi keduanya melewati asal dari variabel standar, yang sesuai dengan "titik rata-rata" dalam koordinat asli. $(\mu_x,\mu_y)$
Kurva regresi, yang didefinisikan sebagai lokus cara kondisional, bertepatan dengan garis kuadrat-terkecil. $\{(x, \rho x)\},$
Kemiringan garis regresi dalam koordinat standar adalah koefisien korelasi ; dalam unit aslinya karena itu sama dengan . $\rho$ $\sigma_y \rho / \sigma_x$

Akibatnya persamaan garis regresi adalah

y = \frac{σ_{y} ρ}{σ_{x}} (x - μ_{x}) + μ_{y} .

$y = \frac{\sigma_y\rho}{\sigma_x}\left(x - \mu_x\right) + \mu_y.$

Varian bersyarat dari adalah kali varians bersyarat dari mana memiliki distribusi standar (simetris sirkular dengan varian unit di kedua koordinat), , dan $Y|X$ $\sigma_y^2(1-\rho^2)$ $Y'|X'$ $(X',Y')$ $X'=(X-\mu_X)/\sigma_x$ . $Y'=(Y-\mu_Y)/\sigma_Y$

Tak satu pun dari hasil ini adalah properti tertentu dari distribusi Normal bivariat! Untuk keluarga Normal bivariat, varian bersyarat dari adalah konstan (dan sama dengan ): fakta ini membuat keluarga itu sangat mudah diajak bekerja sama. Khususnya: $Y'|X'$ $1$

Karena dalam matriks kovarian koefisiennya adalah dan varian bersyarat dari untuk distribusi Normal bivariat $\Sigma$ $\sigma_{11}=\sigma_x^2,$ $\sigma_{12}=\sigma_{21}=\rho\sigma_x\sigma_y,$ $\sigma_{22}=\sigma_y^2,$ $Y|X$

σ_{y}^{2} (1 - ρ^{2}) = σ_{22} (1 - {(\frac{σ_{12}}{\sqrt{σ_{11} σ_{22}}})}^{2}) = σ_{22} - \frac{σ_{12}^{2}}{σ_{11}} .

$\sigma_y^2(1-\rho^2)=\sigma_{22}\left(1-\left(\frac{\sigma_{12}}{\sqrt{\sigma_{11}\sigma_{22}}}\right)^2\right)=\sigma_{22} - \frac{\sigma_{12}^2}{\sigma_{11}}.$

Catatan Teknis

Gagasan utama dapat dinyatakan dalam bentuk matriks yang menjelaskan transformasi linear. Itu datang untuk menemukan "akar kuadrat" yang cocok dari matriks korelasi yang adalah vektor eigen. Jadi: $y$

(\begin{array}{cc} 1 & ρ \\ ρ & 1 \end{array}) = A A^{'}

$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{A}\mathbb{A}'$

dimana

A = (\begin{array}{cc} 1 & 0 \\ ρ & \sqrt{1 - ρ^{2}} \end{array}) .

$\mathbb{A} = \left(\begin{array}{cc} 1 & 0 \\ \rho & \sqrt{1-\rho^2} \\\end{array}\right).$

Akar kuadrat yang jauh lebih dikenal adalah yang awalnya dijelaskan (melibatkan rotasi alih-alih transformasi miring); itu adalah yang dihasilkan oleh dekomposisi nilai singular dan memainkan peran penting dalam analisis komponen utama (PCA):

(\begin{array}{cc} 1 & ρ \\ ρ & 1 \end{array}) = B B^{'};

$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{B}\mathbb{B}';$

B = Q (\begin{array}{cc} \sqrt{ρ + 1} & 0 \\ 0 & \sqrt{1 - ρ} \end{array}) Q^{'}

$\mathbb{B} = \mathbb{Q} \left( \begin{array}{cc} \sqrt{\rho +1} & 0 \\ 0 & \sqrt{1-\rho } \\ \end{array} \right)\mathbb{Q}'$

dimana adalah matriks rotasi untukrotasiderajat. $\mathbb{Q} = \left( \begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \end{array} \right)$ $45$

Dengan demikian, perbedaan antara PCA dan regresi bermuara pada perbedaan antara dua akar kuadrat khusus dari matriks korelasi.

— whuber
sumber

Gambar yang indah dan deskripsi yang bagus. Ada beberapa kalimat dalam pembaruan yang dibiarkan tidak lengkap (seperti pada dasarnya Anda tahu apa yang akan Anda katakan, tetapi belum memutuskan kata akhir).

— kardinal

@ Kardinal Terima kasih. Saya akan membaca ulang ini dan mencari hal-hal seperti itu, serta untuk kesalahan ketik yang tidak terhindarkan. Anda terlalu baik untuk menunjukkan hal-hal lain yang pasti Anda perhatikan, seperti beberapa celah dalam eksposisi. Yang terbesar adalah saya tidak benar-benar menunjukkan bahwa elips ini berada pada sudut 45 derajat (ekuivalen, tertulis dalam satuan persegi); Saya hanya berasumsi itu. Saya masih mencari demonstrasi sederhana. Yang lain adalah bahwa orang mungkin khawatir transformasi miring dapat menghasilkan distribusi yang berbeda dari stretch-squeeze-rotate-shift yang asli - tetapi mudah untuk menunjukkannya tidak.

— whuber

Sangat menarik. Terima kasih telah meluangkan waktu untuk menuliskannya.

— Bill

Dalam paragraf pertama dari aplikasi tertulis bahwa: "kami memusatkan mereka pada kemampuan mereka dan menggunakan deviasi standar mereka sebagai unit. Ini memindahkan pusat distribusi ke titik asal dan membuat semua kontur elips miring 45 derajat", tetapi saya tidak t mengerti bagaimana memusatkan variabel pada sarana mereka memindahkan pusat mereka ke asal dan menyelaraskannya ke 45 derajat?

— Kaushal28

@whuber ketika Anda mulai dengan lingkaran unit (set sampel standar), Anda mengatakan korelasi adalah 0, jadi saya bayangkan, kita mendapatkan lingkaran seperti

. Tetapi bagaimana 0 korelasi berarti independensi? (karena

diperoleh oleh

seperti yang kita lihat. Biasanya tidak benar? Bahkan variabel dependen dapat menghasilkan 0 korelasi?

f (X, Y) = e^{\frac{1}{2} (x^{2} + y^{2})}

$f(X,Y)=e^{\frac{1}{2}{(x^2 + y^2)}}$

f (X, Y)

$f(X,Y)$

f (X) f (Y)

$f(X)f(Y)$

— Parthiban Rajendran

Ini pada dasarnya adalah regresi linear (OLS). Dalam hal ini, Anda menemukan distribusi bersyarat mengingat . (Sebenarnya, regresi OLS tidak membuat asumsi tentang distribusi , sedangkan contoh Anda adalah multivariat normal, tetapi kami akan mengabaikan hal-hal ini.) Sekarang, jika kovarians antara dan bukan , maka mean dari bersyarat distribusi memiliki pergeseran ketika Anda mengubah nilai $Y$ $X=x_i$ $X$ $X_1$ $X_2$ $0$ $X_2$ $x_1$ di mana Anda 'memotong-motong' distribusi multivariat. Perhatikan gambar di bawah ini:

masukkan deskripsi gambar di sini

$X_1$ $X_2$ $X_2$ $X_1$ $\mu_{X_2|X_1=25}\ne\mu_{X_2|X_1=45}$ .

$\sigma_{22}$ $\Sigma$ $X_2$ $\sigma^2$ $\sigma$

$\hat y_i$

{\hat{β}}_{1} = \frac{Cov (x, y)}{Var (x)}

$\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}$

^{σ_{12}} /_{σ_{22}}

$^{\sigma_{12}}/_{\sigma_{22}}$

μ_{X_{2} | X_{1} = x_{i}}

$\mu_{X_2|X_1=x_i}$

μ_{X_{2}}

$\mu_{X_2}$

μ_{X_{2}}

$\mu_{X_2}$

x_{2 i}

$x_{2i}$

X_{1}

$X_1$

X_{2}

$X_2$

— gung - Reinstate Monica
sumber

Apa yang terjadi jika Anda mengkondisikan lebih banyak variabel? Anda hanya akan menambah dan mengurangi ketentuan tambahan dari mean dan varians?

Y

$Y$

X

$\bf X$

{\hat{y}}_{i} = X_{i} \hat{β}

$\hat y_i=\bf X_i \boldsymbol{\hat\beta}$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\boldsymbol{\hat\beta}=(\bf X^TX)^{-1}X^TY$

Apa yang Anda gunakan untuk menghasilkan grafik? Mathematica?

— mpiktas

@mpikta, grafik saya atau whuber's? Saya percaya itu adalah Mathematica, tapi saya membuat yang di atas w / R. (meskipun kode jelek ...)

— gung - Reinstate Monica

@mpikta, saya tidak bisa membayangkan kode saya harus digambarkan sebagai "luar biasa" ... Kurva normal digambar w / dnorm(y). Saya cukup menambahkan output ke 25& 45, & gunakan sebagai x.

— gung - Reinstate Monica

$X_1$ $X_2$ $\sigma_{1,2}>0$ $X_2$ $X_2$ $X_1$ $X_1$

$X_2=\mathit{x}_2>\mu_2$ $X_2$ $X_1$ $\sigma_{1,2}>0$ $X_1$ $X_2$ $X_2$ $X_1$

E {X_{1} | X_{2} = x_{2}} = μ_{1} + \frac{σ_{1, 2}}{σ_{2, 2}} (x_{2} - μ_{2})

$\begin{equation} E\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$

X_{2}

$X_2$

E {X_{1} | X_{2} = x_{2}} > μ_{1}

$E\{X_1 | X_2=\mathit{x}_2\} > \mu_1$

$X_1$ $X_2$

B L P {X_{1} | X_{2} = x_{2}} = μ_{1} + \frac{σ_{1, 2}}{σ_{2, 2}} (x_{2} - μ_{2})

$\begin{equation} BLP\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$

B L P

$BLP$

— Tagihan
sumber

x_{2} - μ_{2}

$x_2-\mu_2$

σ_{12} / σ_{22}

$\sigma_{12}/\sigma_{22}$

x_{2} > μ_{2}

$\mathit{x}_2>\mu_2$

E (X_{1} | X_{2} = x_{2}) < μ_{1}

$E(X_1|X_2=\mathit{x}_2)<\mu_1$

σ_{1, 2} > 0

$\sigma_{1,2}>0$

"Intuitif" tidak menyiratkan "non-kuantitatif": keduanya dapat berjalan bersama. Seringkali sulit untuk menemukan argumen intuitif yang memberikan hasil kuantitatif, tetapi sering kali dapat dilakukan dan proses menemukan argumen seperti itu selalu mencerahkan.

— whuber

Kembali paragraf terakhir: Saya telah menemukan bahwa distribusi normal tidak begitu istimewa: keluarga yang dibuat oleh transformasi affine dari distribusi simetris sirkular adalah yang spesial (yang jumlahnya sangat banyak).

— whuber

@whuber Cukup menarik. Apakah Anda memiliki tautan atau kutipan?

— Bill