Apa hubungan antara ortogonal, korelasi, dan independensi?

Saya telah membaca sebuah artikel yang mengatakan bahwa ketika menggunakan kontras yang direncanakan untuk menemukan cara yang berbeda dalam ANOVA satu arah, konstrast harus ortogonal sehingga mereka tidak berkorelasi dan mencegah kesalahan tipe I dari inflasi.

Saya tidak mengerti mengapa ortogonal berarti tidak berkorelasi dalam keadaan apa pun. Saya tidak dapat menemukan penjelasan visual / intuitif tentang hal itu, jadi saya mencoba memahami artikel / jawaban ini

https://www.psych.umn.edu/faculty/waller/classes/FA2010/Readings/rodgers.pdf

Apa arti ortogonal dalam konteks statistik?

tetapi bagi saya, mereka saling bertentangan. Yang pertama mengatakan bahwa jika dua variabel tidak berkorelasi dan / atau ortogonal maka mereka independen secara linear, tetapi fakta bahwa mereka independen secara linear tidak menyiratkan bahwa mereka tidak berkorelasi dan / atau ortogonal.

Sekarang pada tautan kedua ada jawaban yang menyatakan hal-hal seperti "ortogonal berarti tidak berkorelasi" dan "Jika X dan Y independen maka mereka adalah Orthogonal. Tetapi sebaliknya tidak benar".

Komentar lain yang menarik dalam tautan kedua menyatakan bahwa koefisien korelasi antara dua variabel sama dengan kosinus sudut antara dua vektor yang sesuai dengan variabel-variabel ini, yang menyiratkan bahwa dua vektor ortogonal sama sekali tidak berkorelasi (yang bukan apa artikel pertama klaim).

Jadi apa hubungan sejati antara independensi, ortogonal, dan korelasi? Mungkin saya melewatkan sesuatu tetapi saya tidak dapat menemukan apa itu.

correlation independence

— Carl Levasseur
sumber

Apakah tidak ada jawaban untuk pertanyaan yang ditampilkan sebagai "Tertaut" dan "Terkait" di sebelah kanan pertanyaan ini yang memuaskan Anda?

— Dilip Sarwate

Dua tautan yang saya berikan tampaknya memberikan jawaban yang solid tetapi menyatakan hal-hal yang berbeda, dan ketika saya melihat pertanyaan terkait, saya dapat melihat bahwa orang-orang yang memberikan jawaban jauh dari setuju satu sama lain

— Carl Levasseur

Kebingungan / kontradiksi yang dirasakan dapat sepenuhnya disebabkan oleh perbedaan antara independensi linear dan independensi statistik.

— jona

Saya pikir konstruksi (ANOVA) harus orthogonal adalah aspek penting dari pertanyaan ini: ini bukan hanya tentang variabel acak. Ada juga penekanan ekstra pada "kemerdekaan" dibandingkan dengan pertanyaan terkait erat yang disarankan Xian sebagai kemungkinan duplikat (dalam pertanyaan itu OP menyatakan mereka memahami "kemerdekaan" sehingga sebagian besar diterima begitu saja dalam jawaban). Jadi saya sarankan itu bukan duplikat, dan @ jona kedua bahwa kebingungan mungkin terbungkus dalam beberapa arti "kemerdekaan".

— Silverfish,

Saya juga percaya ini bukan duplikat. Pertanyaan itu tidak merujuk pada korelasi, dan jawabannya tidak merinci perbedaan yang mungkin antara ortogonalitas dan tidak berkorelasi. Selain itu, seperti yang ditunjukkan poster, ada jawaban yang bertentangan yang diberikan untuk pertanyaan terkait yang berbeda.

— A. Donda

Jawaban:

Kemandirian adalah konsep statistik. Dua variabel acak dan secara statistik independen jika distribusi bersama mereka adalah produk dari distribusi marginal, yaitu jika setiap variabel memiliki kepadatan , atau lebih umum mana $X$ $Y$

f (x, y) = f (x) f (y)

$f(x, y) = f(x) f(y)$

f

$f$

F (x, y) = F (x) F (y)

$F(x, y) = F(x) F(y)$

F

$F$ menunjukkan fungsi distribusi kumulatif masing-masing variabel acak.

Korelasi adalah konsep statistik yang lebih lemah tetapi terkait. Korelasi (Pearson) dari dua variabel acak adalah harapan dari produk dari variabel standar, yaitu Variabel tidakberkorelasijika. Dapat ditunjukkan bahwa dua variabel acak yang independen tidak berkorelasi, tetapi tidak sebaliknya.

ρ = E [\frac{X - E [X]}{\sqrt{E [(X - E [X])^{2}]}} \frac{Y - E [Y]}{\sqrt{E [(Y - E [Y])^{2}]}}] .

$\newcommand{\E}{\mathbf E} \rho = \E \left [ \frac{X - \E[X]}{\sqrt{\E[(X - \E[X])^2]}} \frac{Y - \E[Y]}{\sqrt{\E[(Y - \E[Y])^2]}} \right ].$

ρ = 0

$\rho = 0$

Orthogonality adalah konsep yang berasal dari geometri, dan digeneralisasikan dalam aljabar linier dan bidang matematika terkait. Dalam aljabar linier, ortogonalitas dua vektor dan didefinisikan dalam ruang hasilkali dalam , yaitu vektor ruang dengan produk dalam , sebagai kondisi yang Produk dalam dapat didefinisikan dalam cara yang berbeda (menghasilkan ruang produk dalam yang berbeda). Jika vektor diberikan dalam bentuk urutan angka, $u$ $v$ $\langle u, v \rangle$

⟨ u, v ⟩ = 0.

$\langle u, v \rangle = 0.$

. , maka pilihan yang khas adalahdot produk,

u = (u_{1}, u_{2}, \dots u_{n})

$u = (u_1, u_2, \ldots u_n)$

⟨ u, v ⟩ = \sum_{i = 1}^{n} u_{i} v_{i}

$\langle u, v \rangle = \sum_{i = 1}^n u_i v_i$

Karenanya, Orthogonality bukan konsep statistik semata, dan kebingungan yang Anda amati kemungkinan disebabkan oleh perbedaan terjemahan konsep aljabar linier ke statistik:

a) Secara formal, ruang variabel acak dapat dianggap sebagai ruang vektor. Maka dimungkinkan untuk mendefinisikan produk dalam di ruang itu, dengan cara yang berbeda. Satu pilihan umum

⟨ X, Y ⟩ = c o v (X, Y) = E [(X - E [X]) (Y - E [Y])] .

$\langle X, Y \rangle = \mathrm{cov} (X, Y) = \E [ (X - \E[X]) (Y - \E[Y]) ].$ Karena korelasi dari dua variabel acak adalah nol persis jika kovarians adalah nol, menurut definisi ini tidak berkorelasi sama dengan ortogonalitas. (Kemungkinan lain adalah mendefinisikan produk dalam variabel acak hanya sebagai harapan produk .)

b) Tidak semua variabel yang kami pertimbangkan dalam statistik adalah variabel acak. Khususnya dalam regresi linier, kami memiliki variabel independen yang tidak dianggap acak tetapi sudah ditentukan sebelumnya. Variabel independen biasanya diberikan sebagai urutan angka, yang ortogonalitas secara alami didefinisikan oleh produk titik (lihat di atas). Kami kemudian dapat menyelidiki konsekuensi statistik dari model regresi di mana variabel independen berada atau tidak ortogonal. Dalam konteks ini, ortogonalitas tidak memiliki definisi statistik khusus, dan bahkan lebih: itu tidak berlaku untuk variabel acak.

Penambahan menanggapi komentar Silverfish : Orthogonality tidak hanya relevan sehubungan dengan regressor asli tetapi juga berkenaan dengan kontras, karena (set) kontras sederhana (ditentukan oleh vektor kontras) dapat dilihat sebagai transformasi dari matriks desain, yaitu set variabel independen, ke dalam set variabel independen yang baru. Orthogonality untuk kontras didefinisikan melalui produk titik. Jika regressor asli adalah saling ortogonal dan satu berlaku kontras ortogonal, para regressor baru juga saling ortogonal. Ini memastikan bahwa rangkaian kontras dapat dilihat sebagai menggambarkan dekomposisi varians, misalnya menjadi efek utama dan interaksi, ide yang mendasari ANOVA .

Karena menurut varian a), tidak berkorelasi dan ortogonalitas hanyalah nama yang berbeda untuk hal yang sama, menurut pendapat saya yang terbaik adalah menghindari menggunakan istilah dalam pengertian itu. Jika kita ingin berbicara tentang tidak berkorelasinya variabel acak, anggap saja demikian dan jangan mempersulit masalah dengan menggunakan kata lain dengan latar belakang yang berbeda dan implikasi yang berbeda. Ini juga membebaskan istilah ortogonalitas yang akan digunakan sesuai dengan varian b), yang sangat berguna terutama dalam membahas regresi berganda. Dan sebaliknya, kita harus menghindari penerapan korelasi istilah untuk variabel independen, karena mereka bukan variabel acak.

$r$

Saya telah menyebarkan tautan ke jawaban atas dua pertanyaan terkait di seluruh teks di atas, yang seharusnya membantu Anda memasukkannya ke dalam konteks jawaban ini.

— A. Donda
sumber

+1 Perbedaan yang Anda buat di sini sangat jelas dan bermanfaat - Saya senang membaca seluruh pos.

— whuber

+1 Saya suka bagaimana Anda merangkai jawaban-jawaban lain yang mungkin tampak bertentangan. Mungkin sebagian (b) akan menyenangkan untuk menyebutkan sesuatu secara khusus tentang desain eksperimental atau ANOVA (karena yang disebutkan dalam pertanyaan OP) - tidak segera jelas, dalam konteks jawaban Anda, mengapa "ortogonalitas" mungkin menarik atau memang properti yang diinginkan dari variabel independen.

— Silverfish

@ Silververfish, Anda benar, saya akan mencoba menambahkannya.

— A. Donda

X

$X$

Y

$Y$

F (\cdot)

$F(\cdot)$

F (x)

$F(x)$

F (y)

$F(y)$

X

$X$

Y

$Y$

F (\cdot)

$F(\cdot)$

F (x)

$F(x)$

F (y)

$F(y)$

x

$x$

y

$y$

F_{X, Y} (x, y) = F_{X} (x) F_{Y} (y) for all x and y, - \infty < x, y < \infty .

$F_{X,Y}(x,y) = F_X(x)F_Y(y)~\text{for all}~ x~\text{and}~y, -\infty < x,y < \infty.$

@DilipSarwate, puh-leasing ...

— A. Donda

Berikut ini adalah pandangan intuitif saya: Menyatakan bahwa x dan y tidak berkorelasi / ortogonal keduanya cara untuk mengatakan bahwa pengetahuan tentang nilai x atau y tidak memungkinkan prediksi yang lain - x dan y saling independen - dengan asumsi bahwa hubungan apa pun adalah linier.

Koefisien korelasi memberikan indikasi seberapa baik pengetahuan tentang x (atau y) memungkinkan kita untuk memprediksi y (atau x). Dengan asumsi hubungan linier.

Dalam sebuah pesawat, vektor sepanjang sumbu X dapat bervariasi dalam besarnya tanpa mengubah komponennya di sepanjang sumbu Y - sumbu X dan Y adalah ortogonal dan vektor di sepanjang X adalah ortogonal ke sepanjang Y. Memvariasikan besarnya vektor tidak sepanjang X, akan menyebabkan komponen X dan Y bervariasi. Vektor tidak lagi ortogonal ke Y.

Jika dua variabel tidak berkorelasi mereka adalah ortogonal dan jika dua variabel ortogonal, mereka tidak berkorelasi. Korelasi dan ortogonalitas berbeda, meskipun ekuivalen - aljabar dan geometris - cara mengekspresikan gagasan kemerdekaan linear. Sebagai analogi, pertimbangkan solusi sepasang persamaan linear dalam dua variabel dengan memplot (geometris) dan dengan determinan (aljabar).

Sehubungan dengan asumsi linearitas - biarkan x menjadi waktu, biarkan y menjadi fungsi sinus. Selama satu periode, x dan y keduanya ortogonal dan tidak berkorelasi dengan menggunakan cara yang biasa untuk menghitung keduanya. Namun pengetahuan x memungkinkan kita untuk memprediksi dengan tepat. Linearitas adalah aspek penting dari korelasi dan ortogonalitas.

Meskipun bukan bagian dari pertanyaan, saya perhatikan bahwa korelasi dan non-ortogonalitas tidak sama dengan kausalitas. x dan y dapat dikorelasikan karena keduanya memiliki beberapa, kemungkinan tersembunyi, ketergantungan pada variabel ketiga. Konsumsi es krim naik di musim panas, orang pergi ke pantai lebih sering di musim panas. Keduanya berkorelasi, tetapi tidak ada "penyebab" yang lain. Lihat https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation untuk informasi lebih lanjut tentang hal ini.

— James R. Matey
sumber

Uncorrelation dan orthogonality adalah hal yang berbeda. Anda dapat memeriksanya di sini - terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf

— Yurii

Inilah hubungannya: Jika X dan Y tidak berkorelasi, maka XE [X] ortogonal dengan YE [Y].

Tidak seperti itu independen adalah konsep yang lebih kuat dari tidak berkorelasi, yaitu, independen akan menyebabkan tidak berkorelasi, (non-) ortogonal dan (tidak) berkorelasi dapat terjadi pada saat yang sama.

Saya menjadi TA probabilitas semester ini, jadi saya membuat video pendek tentang Kemerdekaan, Korelasi, Orthogonalitas.

https://youtu.be/s5lCl3aQ_A4

Semoga ini bisa membantu.

— linan huang
sumber

Ini tidak menjawab pertanyaan.

— Michael R. Chernick

Saya merevisi jawabannya, semoga ini membantu ~ @ Michael Chernick

— linan huang

@linanhuang Orang-orang dari Larx?

— YHH