Parameter vs variabel laten

Saya telah bertanya tentang ini sebelumnya dan benar-benar telah berjuang dengan mengidentifikasi apa yang membuat parameter model dan apa yang membuatnya menjadi variabel laten. Jadi melihat berbagai utas tentang topik ini di situs ini, perbedaan utamanya adalah:

Variabel laten tidak diamati tetapi memiliki distribusi probabilitas terkait dengan mereka karena mereka adalah variabel dan parameter juga tidak diamati dan tidak memiliki distribusi yang terkait dengan mereka yang saya pahami karena ini adalah konstanta dan memiliki nilai tetap tetapi tidak diketahui yang kami coba untuk Temukan. Selain itu, kami dapat menempatkan prior pada parameter untuk mewakili ketidakpastian kami tentang parameter ini meskipun hanya ada satu nilai sebenarnya yang terkait dengannya atau setidaknya itulah yang kami asumsikan. Saya harap saya benar sejauh ini?

Sekarang, saya telah melihat contoh ini untuk regresi linier berbobot Bayesian dari kertas jurnal dan benar-benar berjuang untuk memahami apa yang merupakan parameter dan apa yang merupakan variabel:

y_{i} = β^{T} x_{i} + ϵ_{y_{i}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

Di sini dan diamati tetapi hanya diperlakukan sebagai variabel yaitu memiliki distribusi yang terkait dengannya. $x$ $y$ $y$

Sekarang, asumsi pemodelan adalah:

y \sim N (β^{T} x_{i}, σ^{2} / w_{i})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

Jadi, varian dari adalah tertimbang. $y$

Ada juga distribusi sebelumnya pada dan , yang merupakan distribusi normal dan gamma. $\beta$ $w$

Jadi, kemungkinan log lengkap diberikan oleh:

\log p (y, w, β | x) = Σ \log P (y_{i} | w, β, x_{i}) + \log P (β) + Σ \log P (w_{i})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

Sekarang, seperti yang saya pahami, dan adalah parameter model. Namun, dalam makalah mereka tetap menyebutnya sebagai variabel laten. Alasan saya adalah dan adalah bagian dari distribusi probabilitas untuk variabel dan mereka adalah parameter model. Namun, penulis memperlakukan mereka sebagai variabel acak laten. Apakah itu benar? Jika demikian, apa yang akan menjadi parameter model? $\beta$ $w$ $\beta$ $w$ $y$

Makalah ini dapat ditemukan di sini ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

Makalah ini adalah Deteksi Outlier Otomatis: Pendekatan Bayesian oleh Ting et al.

— Luca
sumber

Mungkin membantu untuk menuliskan kutipan di kertas (& mungkin tautan). Sebagian dari masalahnya adalah bahwa apa yang sebenarnya berbeda dengan perspektif Frequentist & Bayesian. Dari perspektif Bayesian, parameter memang memiliki distribusi - itu bukan hanya sesuatu yang ditambahkan untuk mewakili ketidakpastian.

— gung - Reinstate Monica

Saya pikir itu tidak adil karena orang akan berpikir bahwa saya mengharapkan mereka untuk membaca koran tanpa menjelaskan hal-hal tetapi saya telah meletakkannya sekarang.

— Luca

Mengapa Anda tidak dapat menempatkan prior pada variabel laten? Saya seorang pemula Bayesian, tetapi sepertinya Anda harus bisa melakukan itu.

— robin.datadrivers

Saya pikir orang pasti bisa, tentu saja dan harus di setup Bayesian. Namun, saya tidak yakin mengapa

atau

adalah variabel dalam pengaturan ini. Bagi saya mereka terlihat seperti parameter model. Saya mengalami kesulitan mengatakan apa yang membuat say

sebagai variabel daripada parameter dalam pengaturan ini. Saya seorang pemula juga, karena Anda dapat dengan jelas melihat ...

w

$w$

β

$\beta$

w

$w$

— Luca

Terima kasih, @Luca. Ini tidak akan baik jika Anda mengharuskan orang untuk membaca koran, tetapi ada di sana untuk konteks itu bagus. Saya pikir Anda sudah melakukan ini dengan benar.

— gung - Reinstate Monica

Dalam makalah, dan secara umum, variabel (acak) adalah segala sesuatu yang diambil dari distribusi probabilitas. Variabel laten (acak) adalah variabel yang tidak Anda amati secara langsung ( $y$ diamati, $\beta$ tidak, tetapi keduanya rv). Dari variabel acak laten Anda bisa mendapatkan distribusi posterior, yang merupakan distribusi probabilitasnya dikondisikan untuk data yang diamati.

Di sisi lain, parameter diperbaiki, bahkan jika Anda tidak tahu nilainya. Estimasi Kemungkinan maksimum, misalnya, memberi Anda nilai yang paling mungkin dari parameter Anda. Tapi itu memberi Anda poin, bukan distribusi penuh, karena hal-hal tetap tidak memiliki distribusi! (Anda dapat menempatkan distribusi pada seberapa yakin Anda tentang nilai ini, atau dalam kisaran berapa nilai Anda ini, tetapi ini tidak sama dengan distribusi nilai itu sendiri, yang hanya ada jika nilai sebenarnya adalah acak variabel)

$y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$

$\beta$ $w$

Dalam kalimat ini:

Persamaan pembaruan ini harus dijalankan secara iteratif hingga semua parameter dan kemungkinan log lengkap konvergen ke nilai stabil

dalam teori mereka berbicara tentang dua parameter, bukan yang merupakan variabel acak, karena dalam EM inilah yang Anda lakukan, mengoptimalkan parameter.

— Alberto
sumber

Pertanyaannya adalah tentang variabel laten .

— Tim

diperbaiki, saya harap ini lebih jelas sekarang.

— alberto