Apa perbedaan antara kemungkinan sebagian, kemungkinan profil, dan kemungkinan marginal?

56

Saya melihat istilah-istilah ini digunakan dan saya terus mencampuradukkannya. Apakah ada penjelasan sederhana tentang perbedaan di antara mereka?

estimation maximum-likelihood

— Rob Hyndman
sumber

57

Fungsi kemungkinan biasanya tergantung pada banyak parameter. Bergantung pada aplikasinya, kami biasanya hanya tertarik pada sebagian dari parameter ini. Misalnya, dalam regresi linier, minat biasanya terletak pada koefisien kemiringan dan bukan pada varian kesalahan.

Nyatakan parameter yang kami minati sebagai dan parameter yang bukan merupakan kepentingan utama sebagai . Cara standar untuk mendekati masalah estimasi adalah dengan memaksimalkan fungsi kemungkinan sehingga kami mendapatkan estimasi dan . Namun, karena minat utama terletak pada parsial, kemungkinan profil dan marginal menawarkan cara alternatif untuk memperkirakan tanpa memperkirakan . $\beta$ $\theta$ $\beta$ $\theta$ $\beta$ $\beta$ $\theta$

Untuk melihat perbedaannya, tunjukkan kemungkinan standar dengan . $L(\beta, \theta|\mathrm{data})$

Kemungkinan Maksimum

Temukan $\beta$ dan $\theta$ yang memaksimalkan $L(\beta, \theta|\mathrm{data})$ .

Kemungkinan Sebagian

Jika kita dapat menulis fungsi kemungkinan sebagai:

L. (β, θ | d Sebuah t Sebuah) = {L.}_{1} (β | d Sebuah t Sebuah) {L.}_{2} (θ | d Sebuah t Sebuah)

$L(\beta, \theta|\mathrm{data}) = L_1(\beta|\mathrm{data}) L_2(\theta|\mathrm{data})$

Maka kita cukup memaksimalkan $L_1(\beta|\mathrm{data})$ .

Kemungkinan Profil

Jika kita dapat mengekspresikan $\theta$ sebagai fungsi $\beta$ maka kita mengganti $\theta$ dengan fungsi yang sesuai.

Katakan, $\theta = g(\beta)$ . Kemudian, kami memaksimalkan:

L. (β, g (β) | d Sebuah t Sebuah)

$L(\beta, g(\beta)|\mathrm{data})$

Kemungkinan Marginal

Kami mengintegrasikan $\theta$ dari persamaan kemungkinan dengan mengeksploitasi fakta bahwa kami dapat mengidentifikasi distribusi probabilitas $\theta$ bersyarat pada $\beta$ .

— febstar
sumber

2

Perhatikan bahwa definisi terakhir di sini adalah Peluang Terintegrasi (atau Bayesian), bukan Peluang Marginal.

— ars

Apakah ini benar dalam RHS untuk kemungkinan parsial: "L2 (θ | theta)"?

— jpalecek

@ars, bisakah Anda mengedit jawaban dan memberikan definisi Kemungkinan Marginal kemudian?

— Waldir Leoncio

13

Ketiganya digunakan ketika berhadapan dengan parameter gangguan di fungsi kemungkinan yang ditentukan sepenuhnya.

Kemungkinan marjinal adalah metode utama untuk menghilangkan parameter gangguan dalam teori. Ini adalah fungsi kemungkinan yang sebenarnya (yaitu proporsional dengan probabilitas (marjinal) dari data yang diamati).

Kemungkinan parsial bukanlah kemungkinan yang benar secara umum. Namun, dalam beberapa kasus dapat dianggap sebagai inferensi asimptotik. Sebagai contoh dalam model bahaya proporsional Cox, dari mana asalnya, kami tertarik pada peringkat yang diamati dalam data (T1> T2> ..) tanpa menentukan bahaya rona awal. Efron menunjukkan bahwa kemungkinan sebagian kehilangan sedikit atau tidak ada informasi untuk berbagai fungsi bahaya.

Kemungkinan profil nyaman ketika kita memiliki fungsi kemungkinan multidimensi dan satu parameter yang menarik. Ini ditentukan dengan mengganti gangguan S dengan MLE-nya di setiap T tetap (parameter bunga), yaitu L (T) = L (T, S (T)). Ini dapat bekerja dengan baik dalam praktiknya, meskipun ada bias potensial pada MLE yang diperoleh dengan cara ini; kemungkinan marjinal mengoreksi bias ini.

— ars
sumber