Bagaimana distribusi istilah kesalahan memengaruhi distribusi respons?

14

Jadi ketika saya berasumsi bahwa istilah kesalahan biasanya didistribusikan dalam regresi linier, apa artinya untuk variabel respon, $y$ ?

regression distributions

— MarkDollar
sumber

7

Mungkin saya tidak aktif tetapi saya pikir kita harus bertanya-tanya tentang , yang merupakan cara saya membaca OP. Dalam kasus regresi linier yang paling sederhana jika model Anda adalah maka satu-satunya komponen stokastik dalam model Anda adalah istilah kesalahan. Karena itu menentukan distribusi sampling . Jika maka $f(y|\beta, X)$ $y=X\beta + \epsilon$ $y$ $\epsilon\sim N(0, \sigma^2I)$ . Apa yang @Aniko katakan tentu benar untuk (sedikit di atas ). Jadi seperti berdiri pertanyaannya agak kabur. $y|X, \beta\sim N(X\beta, \sigma^2I)$ $f(y)$ $X, \beta$

— JMS
sumber

Saya suka semua komentar! Dan mereka semua tampaknya benar. Tapi saya hanya mencari jawaban termudah :) Apa yang terjadi ketika Anda berasumsi bahwa istilah errer terdistribusi normal. Bahwa ini terjadi sekarang sangat sering dalam kenyataan menjadi jelas dari jawaban lain! Terima kasih banyak!

— MarkDollar

17

Jawaban singkatnya adalah Anda tidak dapat menyimpulkan apa pun tentang distribusi , karena itu tergantung pada distribusi dan kekuatan serta bentuk hubungan. Lebih formal, akan memiliki "campuran normals" distribusi, yang dalam prakteknya bisa apa pun cukup banyak. $y$ $x$ $y$

Berikut adalah dua contoh ekstrem untuk menggambarkan hal ini:

Misalkan hanya ada dua kemungkinan nilai , 0 an 1, dan . Kemudian akan memiliki distribusi sangat bimodal dengan benjolan pada 0 dan 10. $x$ $y = 10x + N(0,1)$ $y$
Sekarang asumsikan hubungan yang sama, tetapi biarkan didistribusikan secara seragam pada interval 0-1 dengan banyak nilai. Kemudian akan hampir merata di interval 0-10 (dengan beberapa ekor setengah normal di tepinya). $x$ $y$

Bahkan, karena setiap distribusi dapat diperkirakan secara sewenang-wenang dengan campuran normal, Anda benar-benar bisa mendapatkan distribusi apa pun untuk . $y$

— Aniko
sumber

8

+1 Re pernyataan terakhir: Saya pernah membuat kesalahan dengan memikirkan itu juga. Secara matematis Anda benar tetapi dalam praktiknya hampir tidak mungkin untuk memperkirakan lonjakan yang tidak dapat dibedakan dengan normalnya (seperti distribusi berbentuk J atau U): normalnya terlalu datar pada puncaknya untuk menangkap kerapatan pada paku. Anda memerlukan terlalu banyak komponen. Normalnya bagus untuk memperkirakan distribusi yang pdf-nya sangat halus.

— whuber

1

@whuber Setuju. Saya tidak akan menyarankan menggunakan pendekatan campuran normal untuk setiap distribusi dalam praktek, saya hanya mencoba memberikan contoh-counter yang ekstrim.

— Aniko

5

Kami menemukan istilah kesalahan dengan menerapkan model fiktif pada data nyata; distribusi istilah kesalahan tidak mempengaruhi distribusi respons.

Kami sering berasumsi bahwa kesalahan didistribusikan secara normal dan dengan demikian mencoba untuk membangun model sehingga residu kami yang diperkirakan terdistribusi secara normal. Ini bisa sulit untuk beberapa distribusi . Dalam kasus ini, saya kira Anda bisa mengatakan bahwa distribusi respons memengaruhi istilah kesalahan. $y$

— Thomas Levine
sumber

2

y - X \hat{β}

$y-X\hat\beta$

X \hat{β}

$X\hat\beta$

E (y) = X β

$\mathbb{E}(y)=X\beta$

Saya setuju dengan ketepatan Anda, JMS. +1 dan saya akan menyesuaikan jawaban saya.

— Thomas Levine

2

y = m + e

$\bf{y}=m+e$

m

$\bf{m}$

y

$\bf{y}$

e

$\bf{e}$

y - m = e

$\bf{y}-m=e$

N (0, σ^{2})

$N(0,\sigma^{2})$

σ

$\sigma$

σ

$\sigma$

C a u c h y (0, γ)

$Cauchy(0,\gamma)$

$\bf{m}$ $\bf{e}$ $\bf{m}$ $\bf{e}$ $\bf{y}$ $\bf{y}=m+e=(m+b)+(e-b)=m'+e'$ . Penentuan distribusi kesalahan dan persamaan model pada dasarnya mengatakan vektor mana yang lebih masuk akal daripada yang lain.

— probabilityislogic
sumber

H_{0} : y \sim f_{0}

$H_0: y\sim f_0$

H_{1} : y \sim f_{1}

$H_1: y\sim f_1$

n

$n$

y_{i}

$y_i$

Y

$Y$

x_{i}

$x_i$

Y = X β + ϵ

$Y = X\beta + \epsilon$

ϵ

$\epsilon$

Y | β, X

$Y|\beta, X$

@ JMS - Saya pikir saya mungkin menghapus paragraf pertama itu. Saya tidak berpikir itu menambah apa pun pada jawaban saya (selain kebingungan).

— probabilityislogic

salah satu hal favorit saya untuk ditambahkan ke jawaban saya :)

— JMS