Model loges Bayesian - penjelasan intuitif?

Saya harus mengakui bahwa saya sebelumnya belum pernah mendengar istilah itu di kelas, sarjana, atau pascasarjana saya.

Apa artinya regresi logistik menjadi Bayesian? Saya mencari penjelasan dengan transisi dari logistik reguler ke logistik Bayesian seperti berikut ini:

Ini adalah persamaan dalam model regresi linier: . $E(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

Ini adalah persamaan dalam model regresi logistik: . Ini dilakukan ketika Anda kategoris. $\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

Apa yang telah kami lakukan adalah mengubah menjadi . $E(y)$ $\ln(\frac{E(y)}{1-E(y)})$

Jadi apa yang dilakukan terhadap model regresi logistik dalam regresi logistik Bayesian? Saya menduga itu tidak ada hubungannya dengan persamaan.

Pratinjau buku ini sepertinya didefinisikan, tetapi saya tidak begitu mengerti. Apa semua ini, kemungkinan hal sebelumnya? Apa itu ? Bolehkah seseorang menjelaskan bagian buku atau model logit Bayesian dengan cara lain? $\alpha$

Catatan: Ini sudah ditanyakan sebelumnya tetapi saya tidak menjawab dengan baik.

— BCLC
sumber

Saya tidak ingin memasukkan ini ke dalam jawaban karena saya pikir @Tim telah membahas sebagian besar. Satu-satunya hal yang hilang dari jawaban sebaliknya adalah bahwa, dalam regresi logistik Bayesian dan model linear umum Bayesian (GLMs) secara umum, distribusi sebelumnya tidak hanya ditempatkan di atas koefisien, tetapi juga pada varian dan kovarian koefisien-koefisien tersebut. Hal ini sangat penting untuk disebutkan karena salah satu keuntungan utama dari pendekatan Bayesian terhadap GLM adalah kemudahan penelusuran yang lebih besar dan dalam banyak kasus juga cocok dengan model kompleks untuk kovarians koefisien.

— Brash Equilibrium

@ BrashEquilibrium: Anda menyebutkan kemungkinan ekstensi hierarkis dari pemodelan Bayesian standar untuk model logit. Dalam buku kami , kami menggunakan misalnya sebuah g-sebelumnya pada 's, sebelum yang tetap kovarians matriks berasal dari kovariat .

β

$\beta$

X

$X$

— Xi'an

Cukup adil pada g sebelumnya.

— Brash Equilibrium

Yang mengatakan, masih ada prioritas pada kovarian !!!!!! Jika Anda tidak membahasnya, Anda tidak menjelaskan cara kerja regresi logistik sepenuhnya.

— Brash Equilibrium

Jawaban:

Regresi logistik dapat digambarkan sebagai kombinasi linear

η = β_{0} + β_{1} X_{1} + . . . + β_{k} X_{k}

$\eta = \beta_0 + \beta_1 X_1 + ... + \beta_k X_k$

yang dilewatkan melalui fungsi tautan : $g$

g (E (Y)) = η

$g(E(Y)) = \eta$

di mana fungsi tautan adalah fungsi logit

E (Y | X, β) = p = {logit}^{- 1} (η)

$E(Y|X,\beta) = p = \text{logit}^{-1}( \eta )$

di mana hanya mengambil nilai dalam dan fungsi logit terbalik mengubah kombinasi linear ke rentang ini. Di sinilah regresi logistik klasik berakhir. $Y$ $\{0,1\}$ $\eta$

Namun jika Anda ingat bahwa untuk variabel yang hanya mengambil nilai dalam , daripada dapat dianggap sebagai . Dalam hal ini, output fungsi logit dapat dianggap sebagai probabilitas bersyarat "sukses", yaitu . Distribusi Bernoulli adalah distribusi yang menggambarkan probabilitas mengamati hasil biner, dengan beberapa parameter , sehingga kita dapat menggambarkan sebagai $E(Y) = P(Y = 1)$ $\{0,1\}$ $E(Y | X,\beta)$ $P(Y = 1 | X,\beta)$ $P(Y=1|X,\beta)$ $p$ $Y$

y_{i} \sim Bernoulli (p)

$y_i \sim \text{Bernoulli}(p)$

Jadi dengan regresi logistik kita mencari beberapa parameter yang togeder dengan variabel bebas membentuk kombinasi linier . Dalam regresi klasik (kami menganggap fungsi tautan sebagai fungsi identitas), namun untuk memodelkan yang mengambil nilai dalam kita perlu mengubah agar sesuai dalam kisaran . $\beta$ $X$ $\eta$ $E(Y|X,\beta) = \eta$ $Y$ $\{0,1\}$ $\eta$ $[0,1]$

Sekarang, untuk memperkirakan regresi logistik dalam cara Bayesian Anda mengambil beberapa prior untuk parameter seperti halnya regresi linier (lihat Kruschke et al, 2012 ), kemudian gunakan fungsi logit untuk mengubah kombinasi linear , jadi gunakan outputnya sebagai parameter distribusi Bernoulli yang menjelaskan variabel Anda . Jadi, ya, Anda benar-benar menggunakan fungsi persamaan dan logit dengan cara yang sama seperti pada kasus yang sering terjadi, dan sisanya berfungsi (misalnya memilih prior) seperti dengan memperkirakan regresi linier dengan cara Bayesian. $\beta_i$ $\eta$ $p$ $Y$

Pendekatan sederhana untuk memilih prior adalah dengan memilih distribusi Normal (tetapi Anda juga dapat menggunakan distribusi lain, misalnya distribusi - atau Laplace untuk model yang lebih kuat) untuk dengan parameter dan yang telah disetel atau diambil dari prior hierarkis . Sekarang, dengan memiliki definisi model, Anda dapat menggunakan perangkat lunak seperti JAGS untuk melakukan simulasi Markov Chain Monte Carlo agar Anda dapat memperkirakan model. Di bawah ini saya memposting kode JAGS untuk model logistik sederhana (lihat di sini untuk contoh lebih lanjut). $t$ $\beta_i$ $\mu_i$ $\sigma_i^2$

model {
   # setting up priors
   a ~ dnorm(0, .0001)
   b ~ dnorm(0, .0001)

   for (i in 1:N) {
      # passing the linear combination through logit function
      logit(p[i]) <- a + b * x[i]

      # likelihood function
      y[i] ~ dbern(p[i])
   }
}

Seperti yang Anda lihat, kode langsung diterjemahkan ke definisi model. Apa yang dilakukan oleh perangkat lunak ini adalah mengambil beberapa nilai dari prior Normal untuk adan b, kemudian menggunakan nilai-nilai tersebut untuk memperkirakan pdan akhirnya, menggunakan fungsi kemungkinan untuk menilai seberapa besar kemungkinan data Anda diberikan parameter-parameter tersebut (inilah saat Anda menggunakan teorema Bayes, lihat di sini untuk keterangan lebih rinci).

Model regresi logistik dasar dapat diperluas untuk memodelkan ketergantungan antara prediktor menggunakan model hierarkis (termasuk hyperpriors ). Dalam hal ini Anda dapat menggambar dari distribusi Normal Multivarian yang memungkinkan kami untuk memasukkan informasi tentang kovarian antara variabel independen $\beta_i$ $\boldsymbol{\Sigma}$

(\begin{matrix} β_{0} \\ β_{1} \\ ⋮ \\ β_{k} \end{matrix}) \sim M V N ([\begin{matrix} μ_{0} \\ μ_{1} \\ ⋮ \\ μ_{k} \end{matrix}], [\begin{matrix} σ_{0}^{2} & σ_{0, 1} & \dots & σ_{0, k} \\ σ_{1, 0} & σ_{1}^{2} & \dots & σ_{1, k} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ σ_{k, 0} & σ_{k, 1} & \dots & σ_{k}^{2} \end{matrix}])

$\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix} \sim \mathrm{MVN} \left( \begin{bmatrix} \mu_0 \\ \mu_1 \\ \vdots \\ \mu_k \end{bmatrix}, \begin{bmatrix} \sigma^2_0 & \sigma_{0,1} & \ldots & \sigma_{0,k} \\ \sigma_{1,0} & \sigma^2_1 & \ldots &\sigma_{1,k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{k,0} & \sigma_{k,1} & \ldots & \sigma^2_k \end{bmatrix} \right)$

... tapi ini akan menjadi detail, jadi mari kita berhenti di sini.

Bagian "Bayesian" di sini adalah memilih prior, menggunakan teorema Bayes dan mendefinisikan model dalam istilah probabilistik. Lihat di sini untuk definisi "model Bayesian" dan di sini untuk beberapa intuisi umum tentang pendekatan Bayesian . Yang juga bisa Anda perhatikan adalah bahwa mendefinisikan model cukup mudah dan fleksibel dengan pendekatan ini.

Kruschke, JK, Aguinis, H., & Joo, H. (2012). Waktunya telah tiba: metode Bayesian untuk analisis data dalam ilmu organisasi. Metode Penelitian Organisasi, 15 (4), 722-752.

Gelman, A., Jakulin, A., Pittau, GM, dan Su, Y.-S. (2008). Distribusi prior standar yang lemah untuk informasi logistik dan model regresi lainnya. The Annals of Applied Statistics, 2 (4), 1360–1383.

— Tim
sumber

Anda perlu bukti untuk varians, tidak hanya koefisien.

— Brash Equilibrium

@BCLC no, untuk regresi logistik logit digunakan sebagai fungsi tautan , sedangkan adalah kombinasi linier , misalnya untuk regresi linier adalah fungsi identitas sehingga , ini hanyalah spesifikasi standar GLM .

g

$g$

η

$\eta$

η = β_{0} + β_{1} X_{1}

$\eta = \beta_0 + \beta_1 X_1$

g

$g$

E (Y) = η

$E(Y) = \eta$

— Tim

@BCLC memeriksa tautan dalam jawaban saya, mereka memberikan pengantar statistik Bayesian secara umum. Ini adalah topik yang jauh lebih luas daripada yang disebutkan dalam pertanyaan awal Anda, tetapi Anda dapat menemukan pengantar yang bagus dalam referensi yang saya berikan dalam jawaban saya.

— Tim

@Tim saya membuat kesalahan ketik di sana. Bukti seharusnya membaca prior. Pada dasarnya, koefisien bukan satu-satunya parameter yang tidak diketahui. Distribusi multinomial juga memiliki matriks varians kovarians dan biasanya kami tidak menganggapnya dikenal.

— Brash Equilibrium

"Bagian" Bayesian "di sini adalah memilih prior, menggunakan teorema Bayes dan mendefinisikan model dalam istilah probabilistik." Referensi yang baik di sini adalah Gelman et al. DISTRIBUSI SEBELUMNYA INFORMATIF UNTUK DISTRIBUSI LOGISTIK DAN MODEL REGRESI LAINNYA stat.columbia.edu/~gelman/research/published/priors11.pdf

— Dalton Hance

Apa semua ini, kemungkinan hal sebelumnya?

Itulah yang membuatnya menjadi Bayesian. Model generatif untuk data adalah sama; perbedaannya adalah bahwa analisis Bayesian memilih beberapa distribusi sebelumnya untuk parameter yang menarik, dan menghitung atau mendekati distribusi posterior , yang menjadi dasar semua kesimpulan. Aturan Bayes menghubungkan keduanya: Posterior proporsional dengan kemungkinan kali sebelumnya.

Secara intuitif, ini sebelumnya memungkinkan analis secara matematis untuk mengekspresikan keahlian materi pelajaran atau temuan yang sudah ada sebelumnya. Misalnya, teks yang Anda rujuk mencatat bahwa sebelum adalah normal multivarian. Mungkin penelitian sebelumnya menyarankan kisaran parameter tertentu yang dapat diekspresikan dengan parameter normal tertentu. (Dengan fleksibilitas datang tanggung jawab: Seseorang harus dapat membenarkan mereka sebelum audiensi yang skeptis.) Dalam model yang lebih rumit, seseorang dapat menggunakan keahlian domain untuk menyesuaikan parameter laten tertentu. Sebagai contoh, lihat contoh hati yang dirujuk dalam jawaban ini . $\bf\beta$

Beberapa model frequentist dapat dikaitkan dengan mitra Bayesian dengan prior tertentu, meskipun saya tidak yakin yang sesuai dalam kasus ini.

— Sean Easter
sumber

SeanEaster, 'prior' adalah kata yang digunakan untuk asumsi distribusi? Misalnya kita menganggap X's atau (jika Anda maksudkan seperti dalam , apakah yang Anda maksudkan adalah , , ..., ? Saya tidak pikir memiliki distribusi ...?) normal tetapi kemudian kami mencoba memasukkannya ke distribusi lain? Apa sebenarnya yang Anda maksud dengan 'aproksimasi'? Saya merasa itu tidak sama dengan 'cocok'

β

$\beta$

β

$\beta$

β_{1}, β_{2}, . . ., β_{n}

$\beta_1, \beta_2, ..., \beta_n$

X_{1}

$X_1$

X_{2}

$X_2$

X_{n}

$X_n$

β

$\beta$

— BCLC

@BCLC Untuk menjawabnya, saya akan mulai dengan proses inferensi Bayesian dan mendefinisikan istilah-istilah yang saya gunakan: Bayesian memperlakukan semua parameter yang diminati sebagai variabel acak dan memperbarui keyakinan mereka tentang parameter ini berdasarkan data. The distribusi sebelum mengungkapkan keyakinan mereka tentang parameter sebelum menganalisis data; * distribusi posterior * —dengan aturan Bayes, produk yang dinormalisasi sebelum dan kemungkinan — merangkum keyakinan yang tidak pasti tentang parameter-parameter sehubungan dengan prior dan data. Menghitung posterior adalah tempat pemasangan dilakukan.

— Sean Easter

@BCLC Jadi mengapa parameter memiliki distribusi. Dalam model Bayesian lain — umumnya sederhana —, distribusi posterior mungkin memiliki ekspresi bentuk tertutup. (Dalam variabel acak Bernoulli dengan beta sebelum , posterior adalah distribusi beta, misalnya.) Tetapi ketika posterior tidak dapat diekspresikan secara analitik, kami memperkirakannya , umumnya menggunakan metode MCMC.

β

$\beta$

p

$p$

p

$p$

— Sean Easter

Oke saya pikir saya mengerti Anda lebih baik setelah membaca An Essay menuju memecahkan Masalah dalam Ajaran Peluang . Terima kasih SeanEster

— BCLC

P (B)

$P(B)$