Apa arti ortogonal dalam konteks statistik?

60

Dalam konteks lain, ortogonal berarti "pada sudut kanan" atau "tegak lurus".

Terima kasih atas klarifikasi.

descriptive-statistics

2

Terima kasih untuk pertanyaannya. Saya telah bertanya yang lebih umum: apa yang begitu umum di antara semua kasus ortogonalitas. Saya juga tertarik untuk mengetahui bagaimana independensi statistik memuaskan properti ini? physics.stackexchange.com/questions/67506

— Val

5

Saya terkejut bahwa tidak ada jawaban di sini yang menyebutkan bahwa biasanya itu dimaksudkan dalam arti kata "aljabar linear" matematika. Sebagai contoh, ketika kita berbicara tentang sebuah "set ortogonal variabel" biasanya itu berarti bahwa untuk matriks dengan set variabel . "Orthonormal" juga digunakan.

X^{T} X = I

$X^{T}X=I$

X

$X$

— probabilityislogic

4

@probability "Orthogonal" memiliki arti untuk ruang vektor dengan bentuk kuadrat : dua vektor dan adalah ortogonal jika dan hanya jika . "Orthonormal" berarti selain itu . Jadi "ortogonal" dan "ortonormal" tidak sama, juga tidak terbatas pada matriks yang terbatas. ( Misalnya , dan dapat menjadi elemen ruang Hilbert, seperti ruang fungsi bernilai kompleks pada digunakan dalam mekanika kuantum klasik.)

Q

$Q$

v

$v$

w

$w$

Q (v, w) = 0

$Q(v,w)=0$

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$

v

$v$

w

$w$

L^{2}

$L^2$

R^{3}

$\mathbb{R}^3$

— whuber

Tautan ini mungkin membantu untuk memahami hubungan (bukan) ortogonalitas dan korelasi. alecospapadopoulos.wordpress.com/2014/08/16/…

— RBirkelbach

Kumpulan jawaban yang berbeda (tetapi benar) menunjukkan bahwa ini adalah utas CW yang baik.

— whuber

-16

Itu berarti mereka [variabel acak X, Y] 'independen' satu sama lain. Variabel acak independen sering dianggap berada di 'sudut kanan' satu sama lain, di mana dengan 'sudut kanan' dimaksudkan bahwa produk dalam keduanya adalah 0 (kondisi yang setara dari aljabar linier).

Misalnya pada bidang XY sumbu X dan Y dikatakan ortogonal karena jika nilai x suatu titik berubah, misalkan dari (2,3) menjadi (5,3), nilainya y tetap sama (3), dan sebaliknya. Karenanya kedua variabel tersebut 'independen'.

Lihat juga entri Wikipedia untuk Kemandirian dan Ortogonalitas

— orang gila
sumber

24

Karena perbedaan antara korelasi dan kurangnya ketergantungan adalah penting, menyamakan ortogonalitas dengan independensi bukanlah hal yang baik untuk dilakukan.

— whuber

Karena OP atau penjawab tidak aktif selama lebih dari satu tahun, mungkin perlu mengedit ini untuk setidaknya membuatnya menjadi jawaban yang jelas . Saya sudah mencobanya.

— Assad Ebrahim

1

Salah satu contoh umum yang bertentangan dengan ini dalam statistik adalah PCA vs ICA, dengan PCA menegakkan ortogonalitas dan ICA memaksimalkan independensi.

— jona

5

Bagi para moderator: Sayang pertanyaan yang bagus dan sangat populer ini "macet" dengan jawaban yang menurut banyak orang akan lebih baik didemosiasikan (skor saat ini -4). Karena baik OP dan penjawab belum aktif selama lebih dari setahun, mungkin cek "diterima" dapat dihapus dan pertanyaan dibiarkan "terbuka". Jawaban yang lebih lengkap di bawah ini berbicara sendiri.

— Assad Ebrahim

1

@Assad mods tidak dapat menghapus penerimaan OP. Itu provinsi OP.

— Glen_b

33

Saya tidak bisa berkomentar karena saya tidak punya cukup poin, jadi saya terpaksa mengatakan pikiran saya sebagai jawaban, tolong maafkan saya. Dari sedikit yang saya tahu, saya tidak setuju dengan jawaban yang dipilih oleh @crazyjoe karena ortogonalitas didefinisikan sebagai

E [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

Begitu:

Jika dengan pdf simetris mereka mereka belum ortogonal. $Y=X^2$

Jika tetapi pdf nol untuk nilai negatif, maka mereka bergantung tetapi tidak ortogonal. $Y=X^2$

Karena itu, ortogonalitas tidak menyiratkan independensi.

— pengguna497804
sumber

2

Apa tanda bintang (bintang) di ?

Y^{*}

$Y^{*}$

— mugen

2

@mugen, mungkin mengindikasikan konjugat kompleks.

— A. Donda

Catatan untuk diri sendiri (dan mungkin untuk orang lain) - Saya percaya bahwa (untuk fungsi bernilai nyata yang dapat kita lakukan dengan konjugat kompleks (?)) Adalah produk dalam dari variabel acak dan , yang didefinisikan sebagai harapan dari produk pdf mereka:

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

— Antoni Parellada

21

Jika X dan Y independen maka mereka adalah Orthogonal. Tetapi kebalikannya tidak benar seperti yang ditunjukkan oleh contoh cerdas dari user497804. Untuk definisi yang tepat lihat

Orthogonal: Variabel acak bernilai kompleks dan disebut orthogonal jika memenuhi $C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

(Hal 376, Probabilitas dan Proses Acak oleh Geoffrey Grimmett dan David Stirzaker)

Independen: Variabel acak dan independen jika dan hanya jika untuk semua $X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

yang, untuk variabel acak kontinu, setara dengan mensyaratkan bahwa $f(x,y) = f_X(x)f_Y(y)$

(Halaman 99, Probabilitas dan Proses Acak oleh Geoffrey Grimmett dan David Stirzaker)

— Naresh
sumber

21

@Mien sudah memberikan jawaban, dan, sebagaimana ditunjukkan oleh @whuber, ortogonal berarti tidak berkorelasi. Namun, saya benar-benar berharap orang akan memberikan beberapa referensi. Anda mungkin menganggap tautan berikut bermanfaat karena menjelaskan konsep korelasi dari perspektif geometris.

The Geometry of Vectors (lihat hal. 7)
Variabel Bebas Linier, Orthogonal, dan Tidak Berkorelasi
Representasi grafis korelasi dua dimensi dalam ruang vektor (mungkin tidak gratis bagi Anda)

— Bernd Weiss
sumber

1

Tautan kedua menjelaskan semua yang ingin saya ketahui. Terima kasih! :)

— Lenar Hoyt

Variabel acak bernilai riil Xdan Ytidak berkorelasi jika dan hanya jika variabel terpusat X-E(X)dan Y-E(Y)ortogonal. [ref]

— knedlsepp

1

@Bernd Dua tautan pertama tidak berfungsi.

— kewalahan

@ terlalu kagum, saya kira ini adalah artikel yang ditunjuk oleh tautan kedua.

— Josh O'Brien

8

Situs web NIST (ref di bawah) mendefinisikan ortogonal sebagai berikut, "Desain eksperimental ortogonal jika efek dari faktor apa pun menyeimbangkan (jumlah ke nol) di seluruh efek dari faktor-faktor lain."

Dalam statistik deisgn, saya mengerti ortogonal berarti "tidak dirikan" atau "tidak alias". Ini penting ketika merancang dan menganalisis percobaan Anda jika Anda ingin memastikan Anda dapat dengan jelas mengidentifikasi berbagai faktor / perawatan. Jika eksperimen yang Anda rancang tidak ortogonal, artinya Anda tidak akan dapat sepenuhnya memisahkan efek dari berbagai perawatan. Dengan demikian, Anda perlu melakukan percobaan tindak lanjut untuk menguraikan efeknya. Ini akan disebut desain augmented atau desain komparatif.

Kemandirian tampaknya menjadi pilihan kata yang buruk karena digunakan dalam banyak aspek desain dan analisis lainnya.

NIST Ref http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

— Chris
sumber

3

+1 untuk memperkenalkan konteks desain eksperimental. Kata "ortogonal" layak digunakan di sini karena sebenarnya persis sama dengan konsep matematika: vektor (kolom) yang mewakili faktor-faktor dalam percobaan, yang dianggap sebagai elemen ruang Euclidean, memang akan ortogonal (di sebelah kanan). sudut, dengan produk titik nol) dalam desain ortogonal.

— whuber

2

Kemungkinan besar mereka berarti 'tidak terkait' jika mereka mengatakan 'ortogonal'; jika dua faktor ortogonal (misalnya dalam analisis faktor), mereka tidak terkait, korelasinya nol.

— Penampilan
sumber

3

Koefisien korelasi adalah (atau secara alami dapat ditafsirkan sebagai) cosinus dari suatu sudut. Ketika itu nol, bagaimana menurut Anda sudut itu? :-) Tidak berkorelasi bukan berarti tidak berhubungan!

— whuber

Saya tidak mengatakan Anda salah, tetapi dapatkah Anda memberi saya contoh sesuatu yang tidak berkorelasi dan terkait; atau sebaliknya? Saya tidak yakin saya mengerti perbedaannya.

— Mien

Dan ya, saya tahu bahwa sudut itu adalah 90 °. Sudut kanan adalah ortogonal.

— Mien

5

Misalkan adalah variabel acak yang mengambil nilai dalam dengan probabilitas yang sama dan misalkan . Korelasi antara dan adalah , tapi jelas mereka terkait: adalah fungsi dari .

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

— Diasumsikan normal

Ah ya terima kasih. Tetapi sebaliknya tidak mungkin, bukan (jika tidak ada variabel ketiga atau yang serupa)?

— Mien

2

Menurut http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf , independensi linear adalah kondisi yang diperlukan untuk ortogonalitas atau tidak berkorelasi. Tetapi ada perbedaan yang lebih halus, khususnya, ortogonalitas bukan tidak berkorelasi.

— pengguna45059
sumber

1

Saya mengajukan pertanyaan serupa Apa hubungan antara ortogonalitas dan harapan produk RV , dan saya mereproduksi jawabannya di sini. Meskipun ortogonalitas adalah konsep dari Aljabar Linier, dan itu berarti bahwa produk-titik dari dua vektor adalah nol, istilah ini kadang-kadang digunakan secara longgar dalam statistik dan berarti non-korelasi. Jika dua vektor acak adalah ortogonal, maka pasangan terpusatnya tidak berkorelasi, karena ortogonalitas (titik-nol produk) menyiratkan non-korelasi dari vektor acak terpusat (kadang-kadang orang mengatakan bahwa ortogonalitas menyiratkan bahwa momen-silang adalah nol). Setiap kali kita memiliki dua Vektor Acak , kita selalu dapat memusatkan mereka di sekitar kemampuan mereka untuk membuat harapan mereka menjadi nol. Asumsikan ortogonalitas ( $(X,Y)$ $X\cdot Y=0$ ), maka korelasi variabel acak terpusat adalah

C o v (X - E [X], Y - E [Y]) = E [X \cdot Y] = E [0] = 0 ⟹ C o r r (X - E [X], Y - E [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

— Diogo
sumber

1

Dalam ekonometrik, asumsi ortogonalitas berarti nilai yang diharapkan dari jumlah semua kesalahan adalah 0. Semua variabel dari regressor adalah ortogonal dengan ketentuan kesalahan saat ini.

Secara matematis, asumsi ortogonalitas adalah . $E(x_{i}·ε_{i}) = 0$

Dalam istilah yang lebih sederhana, itu berarti seorang regressor "tegak lurus" dengan istilah error.

— Leopold W.
sumber

-2

Dua atau lebih IV tidak berhubungan (independen) satu sama lain tetapi keduanya memiliki pengaruh pada DV. Setiap IV secara terpisah menyumbangkan nilai yang berbeda untuk hasil, sementara keduanya atau semua IV juga berkontribusi secara aditif dalam prediksi pendapatan (ortogonal = non-berpotongan pengaruh IV pada DV). IV's adalah non-korelasional antara satu sama lain dan biasanya diposisikan di sudut kanan * lihat Diagram Venn.

Contoh: Hubungan antara motivasi dan tahun pendidikan tentang pendapatan.

IV = Tahun Pendidikan IV = Motivasi DV = Penghasilan

https://onlinecourses.science.psu.edu/stat505/node/167

— Menepuk
sumber

-2

Variabel acak terkait berarti variabel mengatakan X dan Y dapat memiliki hubungan apa pun; bisa linear atau non-linear. Sifat independensi dan ortogonal adalah sama jika kedua variabel terkait secara linear.

— J Subramani
sumber

2

Ini melanggengkan kesalahan yang dibuat oleh crazyjoe: ortogonalitas tidak menyiratkan independensi kecuali jika variabel-variabel tersebut terdistribusi secara normal.

— whuber