Distribusi sampel dari koefisien regresi

Saya sebelumnya belajar tentang distribusi sampling yang memberikan hasil bagi estimator, dalam hal parameter yang tidak diketahui. Misalnya, untuk distribusi sampel dan dalam model regresi linier $\hat\beta_0$ $\hat\beta_1$ $Y_i = \beta_o + \beta_1 X_i + \varepsilon_i$

{\hat{β}}_{0} \sim N (β_{0}, σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}))

$\hat{\beta}_0 \sim \mathcal N \left(\beta_0,~\sigma^2\left(\frac{1}{n}+\frac{\bar{x}^2}{S_{xx}}\right)\right)$ dan

{\hat{β}}_{1} \sim N (β_{1}, \frac{σ^{2}}{S_{x x}})

$\hat{\beta}_1 \sim \mathcal N \left(\beta_1,~\frac{\sigma^2}{S_{xx}}\right)$

di mana $S_{xx} = \sum_{i=1}^n (x_i^2) -n \bar{x}^2$

Tetapi sekarang saya telah melihat yang berikut dalam sebuah buku :

Misalkan kita cocok dengan model dengan kuadrat terkecil dengan cara biasa. Pertimbangkan distribusi posterior Bayesian, dan pilih prior sehingga ini setara dengan distribusi sampling frequentist biasa, yaitu ......

$(\begin{matrix} β_{0} \\ β_{1} \end{matrix}) \sim N_{2} [(\begin{matrix} {\hat{β}}_{1} \\ {\hat{β}}_{2} \end{matrix}), {\hat{σ}}^{2} {(\begin{matrix} n & \sum_{i = 1}^{n} x_{i} \\ \sum_{i = 1}^{n} x_{i} & \sum_{i = 1}^{n} x_{i}^{2} \end{matrix})}^{- 1}]$ $\left( \begin{matrix} \beta_0 \\ \beta_1 \end{matrix} \right) \sim \mathcal N_2\left[\left(\begin{matrix} \hat{\beta}_1 \\ \hat{\beta}_2 \end{matrix} \right),~\hat{\sigma}^2 \left(\begin{matrix} n & \sum_{i=1}^{n}x_i \\ \sum_{i=1}^{n}x_i & \sum_{i=1}^{n}x_i^2 \end{matrix} \right) ^{-1}\right]$

Ini membingungkan saya karena:

Mengapa perkiraan muncul di sisi kiri (lhs) dari 2 ekspresi pertama, dan sisi kanan (rhs) dari ekspresi terakhir?
Mengapa topi beta dalam ekspresi terakhir memiliki subskripsi 1 dan 2 bukannya 0 dan 1?
Apakah ini hanya representasi berbeda dari hal yang sama? Jika ya, bisakah seseorang menunjukkan kepada saya bagaimana mereka setara? Jika tidak, bisakah seseorang menjelaskan perbedaannya?
Apakah ini kasus bahwa ungkapan terakhir adalah "inversi" dari dua yang pertama? Apakah itu sebabnya matriks 2x2 dalam ekspresi terakhir dibalik dan estimasi / parameter dialihkan dari rhs lhs? Jika demikian, bisakah seseorang menunjukkan kepada saya bagaimana cara berpindah dari satu ke yang lain? $\leftrightarrow$

— Joe King
sumber

Bagian ini terutama berkaitan dengan pertanyaan pertama, ketiga dan keempat Anda:

Ada perbedaan mendasar antara statistik Bayesian dan statistik frequentist.

Statistik Frequentist membuat kesimpulan tentang nilai parameter tetap mana yang konsisten dengan data yang dilihat secara acak, biasanya melalui kemungkinan. Anda mengambil (beberapa parameter atau parameter) sebagai tetap tetapi tidak diketahui, dan melihat mana yang membuat data lebih mungkin; itu terlihat pada sifat-sifat pengambilan sampel dari beberapa model yang diberikan parameter untuk membuat kesimpulan tentang di mana parameter mungkin. (Seorang Bayesian mungkin mengatakan pendekatan frequentist didasarkan pada 'frekuensi hal-hal yang tidak terjadi') $\theta$

Statistik Bayesian melihat informasi pada parameter dalam hal distribusi probabilitas pada mereka, yang diperbarui oleh data, melalui kemungkinan. Parameter memiliki distribusi, jadi Anda melihat . $P(\theta|\underline{x})$

Ini menghasilkan hal-hal yang sering terlihat serupa tetapi di mana variabel-variabel dalam satu tampilan "jalan yang salah" dilihat melalui lensa dari cara berpikir yang lain tentang hal itu.

Jadi, pada dasarnya mereka adalah hal-hal yang agak berbeda , dan fakta bahwa hal-hal yang ada di LHS satu berada di RHS yang lain bukanlah kecelakaan.

Jika Anda melakukan beberapa pekerjaan dengan keduanya, segera menjadi cukup jelas.

Pertanyaan kedua menurut saya hanya berhubungan dengan kesalahan ketik.

---

pernyataan "setara dengan distribusi sampling frequentist biasa, yaitu": Saya mengambil ini berarti bahwa penulis menyatakan distribusi sampling frequentist. Apakah saya salah membaca ini?

Ada dua hal yang terjadi di sana - mereka telah mengutarakan sesuatu dengan sedikit longgar (orang-orang melakukan jenis ekspresi yang terlalu longgar setiap saat), dan saya pikir Anda juga menafsirkannya secara berbeda dari maksud.

Apa sebenarnya arti ungkapan yang mereka berikan?

Semoga diskusi di bawah ini akan membantu memperjelas arti yang dimaksud.

Jika Anda dapat memberikan referensi (lebih disukai online karena saya tidak memiliki akses perpustakaan yang baik) di mana ungkapan ini diturunkan saya akan berterima kasih.

Ini mengikuti langsung dari sini:

http://en.wikipedia.org/wiki/Bayesian_linear_regress

dengan mengambil prior flat pada dan saya pikir flat sebelumnya untuk juga. $\beta$ $\sigma^2$

Alasannya adalah karena posterior proporsional dengan kemungkinan dan interval yang dihasilkan dari posterior pada parameter cocok dengan interval kepercayaan sering untuk parameter.

Anda mungkin menemukan beberapa halaman pertama di sini bermanfaat juga.

— Glen_b -Reinstate Monica
sumber

Terima kasih, ini sangat membantu. Saya sudah melakukan sedikit statistik Bayesian. Saya masih agak bingung, karena pernyataan "setara dengan distribusi sampling frequentist biasa, yaitu" : Saya mengambil ini berarti bahwa penulis menyatakan distribusi sampling frequentist. Apakah saya salah membaca ini? Apa sebenarnya arti ungkapan yang mereka berikan? Jika Anda dapat memberikan referensi (lebih disukai secara online karena saya tidak memiliki akses perpustakaan yang baik) di mana ungkapan ini diturunkan, saya akan berterima kasih.

— Joe King

Joe - lihat hasil edit saya di atas

— Glen_b -Reinstate Monica