Apa perbedaan antara

Misalkan saya punya sampel acak $\lbrace x_n ,y_n \rbrace_{n=1}^N$.

Seharusnya

$$y_n = \beta_0 + \beta_1 x_n + \varepsilon_n$$

dan

$$\hat{y}_n = \hat{\beta}_0 +\hat{\beta}_1 x_n$$

Apa perbedaan antara $\beta_1$ dan $\hat{\beta}_1$?

$\beta_1$adalah sebuah ide - itu tidak benar-benar ada dalam praktik. Tetapi jika asumsi Gauss-Markov bertahan,$\beta_1$ akan memberi Anda kemiringan yang optimal dengan nilai-nilai di atas dan di bawahnya pada "irisan" vertikal vertikal ke variabel dependen membentuk distribusi normal Gaussian residual yang bagus. $\hat \beta_1$ adalah estimasi $\beta_1$ berdasarkan sampel.

Idenya adalah Anda bekerja dengan sampel dari suatu populasi. Sampel Anda membentuk cloud data, jika Anda mau. Salah satu dimensi sesuai dengan variabel dependen, dan Anda mencoba menyesuaikan garis yang meminimalkan istilah kesalahan - dalam OLS, ini adalah proyeksi dari variabel dependen pada subruang vektor yang dibentuk oleh ruang kolom dari matriks model. Estimasi parameter populasi ini dilambangkan dengan$\hat \beta$simbol. Semakin banyak titik data yang Anda miliki semakin akurat perkiraan koefisien,$\hat \beta_i$ adalah, dan semakin baik estimasi koefisien populasi ideal ini, $\beta_i$.

Inilah perbedaan lereng ($\beta$ melawan $\hat \beta$) antara "populasi" berwarna biru, dan sampel dalam titik hitam terisolasi:

Garis regresi bertitik dan berwarna hitam, sedangkan garis "populasi" yang sempurna secara sintetis berwarna biru pekat. Kelimpahan poin memberikan rasa sentuhan normalitas dari distribusi residu.

The "topi" simbol umumnya menunjukkan perkiraan, yang bertentangan dengan nilai "true". Karena itu$\hat{\beta}$ adalah estimasi $\beta$. Beberapa simbol memiliki konvensi sendiri: varians sampel, misalnya, sering ditulis sebagai$s^2$tidak $\hat{\sigma}^2$, meskipun beberapa orang menggunakan keduanya untuk membedakan antara estimasi yang bias dan tidak bias.

Dalam kasus spesifik Anda, the $\hat{\beta}$nilai adalah estimasi parameter untuk model linier. Model linier mengandaikan bahwa variabel hasil$Y$ dihasilkan oleh kombinasi linear dari $x_i$s, masing-masing ditimbang oleh yang sesuai $\beta_i$nilai. Dalam praktiknya, tentu saja, ini$\beta$nilai tidak diketahui dan bahkan mungkin tidak ada (mungkin data tidak dihasilkan oleh model linier). Namun demikian, kita dapat memperkirakan$\hat{\beta}$ nilai dari data yang mendekati $Y$.

Persamaannya

$$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$

adalah apa yang disebut sebagai model yang sebenarnya. Persamaan ini mengatakan bahwa hubungan antar variabel$x$ dan variabelnya $y$ dapat dijelaskan oleh garis $y = \beta_0 + \beta_1x$. Namun, karena nilai yang diamati tidak akan pernah mengikuti persamaan yang tepat (karena kesalahan), tambahan$\epsilon_i$istilah kesalahan ditambahkan untuk menunjukkan kesalahan. Kesalahan dapat diartikan sebagai penyimpangan alami dari hubungan$x$ dan $y$. Di bawah ini saya menunjukkan dua pasang$x$ dan $y$(titik-titik hitam adalah data). Secara umum orang dapat melihatnya sebagai$x$ meningkat $y$meningkat. Untuk kedua pasangan, persamaan sebenarnya adalah

$$y_i = 4 + 3x_i + \epsilon_i$$ tetapi kedua plot memiliki kesalahan yang berbeda. Plot di sebelah kiri memiliki kesalahan besar dan plot di sebelah kanan kesalahan kecil (karena poinnya lebih ketat). (Saya tahu persamaan sebenarnya karena saya menghasilkan data sendiri. Secara umum, Anda tidak pernah tahu persamaan sebenarnya)

Mari kita lihat plot di sebelah kiri. Kebenaran$\beta_0 = 4$ dan yang benar $\beta_1$= 3. Tetapi dalam praktiknya ketika diberi data, kita tidak tahu kebenarannya. Jadi kami memperkirakan kebenarannya. Kami memperkirakan$\beta_0$ dengan $\hat{\beta}_0$ dan $\beta_1$ dengan $\hat{\beta}_1$. Bergantung pada metode statistik mana yang digunakan, estimasi bisa sangat berbeda. Dalam pengaturan regresi, estimasi diperoleh melalui metode yang disebut Ordinary Least Squares. Ini juga dikenal sebagai metode garis paling cocok. Pada dasarnya, Anda perlu menggambar garis yang paling cocok dengan data. Saya tidak membahas rumus di sini, tetapi menggunakan rumus untuk OLS, Anda dapatkan

$$\hat{\beta}_0 = 4.809 \quad \text{ and } \quad \hat{\beta}_1 = 2.889$$

dan garis yang dihasilkan paling cocok adalah,

Contoh sederhana adalah hubungan antara ketinggian ibu dan anak perempuan. Membiarkan$x =$ tinggi ibu dan $y$= ketinggian anak perempuan. Secara alami, orang akan mengharapkan ibu yang lebih tinggi untuk memiliki anak perempuan yang lebih tinggi (karena kesamaan genetik). Namun, apakah menurut Anda satu persamaan dapat meringkas dengan tepat tinggi ibu dan anak perempuan, sehingga jika saya mengetahui tinggi ibu, saya akan dapat memperkirakan tinggi persis anak perempuan itu? Di sisi lain, orang mungkin bisa meringkas hubungan dengan bantuan rata-rata pernyataan .

TL DR: $\beta$adalah kebenaran populasi. Ini mewakili hubungan yang tidak diketahui antara$y$ dan $x$. Karena kita tidak selalu bisa mendapatkan semua nilai yang mungkin dari$y$ dan $x$, kami mengumpulkan sampel dari populasi, dan mencoba serta memperkirakannya $\beta$ menggunakan data. $\hat{\beta}$adalah estimasi kami. Ini adalah fungsi dari data.$\beta$adalah tidak fungsi dari data, tapi kebenaran.