Apa perbedaan antara varians dan galat kuadrat rata-rata?

Saya terkejut ini belum ditanyakan sebelumnya, tetapi saya tidak dapat menemukan pertanyaan di stats.stackexchange.

Ini adalah rumus untuk menghitung varians dari sampel yang terdistribusi normal:

\frac{\sum (X - \bar{X})^{2}}{n - 1}

$\frac{\sum(X - \bar{X}) ^2}{n-1}$

Ini adalah rumus untuk menghitung rata-rata kesalahan kuadrat pengamatan dalam regresi linier sederhana:

\frac{\sum (y_{i} - {\hat{y}}_{i})^{2}}{n - 2}

$\frac{\sum(y_i - \hat{y}_i) ^2}{n-2}$

Apa perbedaan antara kedua formula ini? Satu-satunya perbedaan yang saya lihat adalah MSE menggunakan $n-2$ . Jadi jika itu satu-satunya perbedaan, mengapa tidak merujuk keduanya sebagai varian, tetapi dengan tingkat kebebasan yang berbeda?

variance error

— luciano
sumber

Ada apa dengan halaman wikipedia di sini yang tidak jelas?

— TrynnaDoStat

Varians adalah rata-rata deviasi kuadrat dari pengamatan dari mean. Sebaliknya, MSE adalah rata-rata penyimpangan kuadrat dari prediksi dari nilai sebenarnya.

— random_guy

"Varians" dan "galat kuadrat rata-rata" memiliki beberapa rumus dan beragam aplikasi. Untuk memperjelas pertanyaan Anda, dapatkah Anda (a) menjelaskan data seperti apa yang Anda terapkan pada konsep-konsep ini dan (b) memberikan formula untuknya? (Kemungkinan dengan melakukan hal itu Anda juga akan menemukan jawaban untuk pertanyaan Anda.)

— whuber

Ada rumus yang lebih umum, yang kedua adalah kasus khusus dari:

mana

adalah jumlah parameter diperkirakan dalam memperoleh

\frac{\sum_{i} (y_{i} - {\hat{y}}_{i})^{2}}{n - p}

$\frac{\sum_i(y_i-\hat{y}_i)^2}{n-p}$

p

$p$

\hat{y}

$\hat{y}$

— Glen_b -Reinstate Monica

@Glen_b dapatkah Anda memberikan referensi untuk informasi lebih lanjut tentang formula umum ini?

— trianta2

Jawaban:

Kesalahan kuadrat rata-rata seperti yang Anda tulis untuk OLS menyembunyikan sesuatu:

\frac{\sum_{i}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{n - 2} = \frac{\sum_{i}^{n} {[y_{i} - ({\hat{β}}_{0} + {\hat{β}}_{x} x_{i})]}^{2}}{n - 2}

$\frac{\sum_{i}^{n}(y_i - \hat{y}_i) ^2}{n-2} = \frac{\sum_{i}^{n}\left[y_i - \left(\hat{\beta}_{0} + \hat{\beta}_{x}x_{i}\right)\right] ^2}{n-2}$

Perhatikan bahwa pembilang meringkas fungsi $y$ dan $x$ , sehingga Anda kehilangan derajat kebebasan untuk setiap variabel, karenanya $n-2$ . Dalam rumus untuk varians sampel, pembilang adalah fungsi dari variabel tunggal, sehingga Anda hanya kehilangan satu derajat kebebasan dalam penyebut.

Namun, Anda berada di jalur dalam memperhatikan bahwa ini adalah jumlah yang secara konsep serupa. Varians sampel mengukur penyebaran data di sekitar mean sampel (dalam satuan kuadrat), sedangkan MSE mengukur penyebaran vertikal data di sekitar garis regresi sampel (dalam kuadrat unit vertikal).

— Alexis
sumber

@amoeba Hei! Terima kasih atas perhatiannya. Apakah ada panduan gaya CV resmi yang mendorong pengeditan ini? Jika demikian saya ingin mempelajarinya. Jika tidak, yah, Glen_b pernah dengan benar memperingatkan saya karena menjajah dengan preferensi gaya pribadi saya dan mengedit untuk orang lain Qs dan As. Apa yang kamu pikirkan? (Dan saya bertanya dengan nada kolegial: Saya pikir hasil edit Anda menambah sesuatu. Hanya ingin memahami nilai-nilai pengeditan kami lebih baik.)

— Alexis

Saya tidak berpikir ada panduan gaya CV resmi yang membuat saran ini, tetapi di LaTeX ada rumus inline (ditandai dengan satu tanda dolar) yang diberikan langsung di blok teks, dan rumus yang ditampilkan (ditandai dengan dua tanda dolar) yang diberikan pada baris terpisah. Rumus yang ditampilkan menggunakan tata letak yang berbeda. Formula Anda pada awalnya berada pada baris terpisah tetapi ditandai dengan satu tanda dolar; Saya pikir ini tidak masuk akal. Namun, Anda benar tentang preferensi pribadi, jadi silakan membalas dengan permintaan maaf. Alasan saya mengedit adalah karena saya memperbaiki kesalahan ketik pada Q.

— Amuba mengatakan Reinstate Monica

β_{0}

$\beta_0$

n - 1

$n-1$ seperti dalam rumus varian alih-alih

n - 2

$n-2$

— develarist

Dalam rumus varians, mean sampel mendekati rata-rata populasi. Mean sampel dihitung untuk sampel yang diberikan dengan $n$ titik data. Mengetahui sampel berarti meninggalkan kita saja $n-1$ titik data independen sebagai $n$ titik data ^th dibatasi oleh mean sampel, jadi ( $n-1$ ) derajat kebebasan (DOF) dalam penyebut dalam rumus varian.

Untuk mendapatkan nilai estimasi y ( $= \beta_{0} + \beta_{1}\times x$ ) dalam rumus UMK, kita perlu memperkirakan keduanya $\beta_{0}$ (Yaitu mencegat) serta $\beta_{1}$ (i.e. the slope) so we lose 2 DOF, and so that is the reason for ( $n-2$ ) in the denominator in the MSE formula.

— Brajesh Kumar
sumber