Keuntungan Keluarga Eksponensial: mengapa kita harus mempelajarinya dan menggunakannya?

Jadi di sini saya sedang mempelajari inferensi. Saya ingin seseorang dapat menyebutkan keuntungan dari keluarga eksponensial. Oleh keluarga eksponensial, maksud saya distribusi yang diberikan sebagai

\begin{aligned} f (x | θ) = h (x) \exp {η (θ) T (x) - B (θ)} \end{aligned}

$\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*}$

yang dukungannya tidak bergantung pada parameter $\theta$ . Inilah beberapa keuntungan yang saya temukan:

(a) Ini mencakup berbagai distribusi.

(B) Ia menawarkan statistik yang cukup alami $T(x)$ menurut teorema Neyman-Fisher.

(d) Memudahkan untuk memisahkan hubungan antara respons dan prediktor dari distribusi kondisional dari respons (melalui fungsi tautan).

Adakah yang bisa memberikan keuntungan lain?

self-study exponential-family

— pengguna1337
sumber

untuk memastikan keumuman jawaban: apakah ada PDF berguna yang tidak ada dalam keluarga eksponensial?

— meduz

Jawaban:

... mengapa kita harus mempelajarinya dan menggunakannya?

Saya pikir daftar keunggulan Anda secara efektif menjawab pertanyaan Anda sendiri, tetapi izinkan saya menawarkan beberapa komentar meta-matematis yang mungkin menjelaskan topik ini. Secara umum, matematikawan suka menggeneralisasi konsep dan hasil hingga titik maksimal yang mereka bisa, sampai batas kegunaannya. Artinya, ketika matematikawan mengembangkan konsep, dan menemukan bahwa satu atau lebih teorema yang berguna berlaku untuk konsep itu, mereka umumnya akan berusaha untuk menggeneralisasi konsep dan hasil lebih dan lebih, sampai mereka mencapai titik di mana generalisasi lebih lanjut akan membuat hasil tidak dapat diterapkan. atau tidak lagi berguna. Seperti yang dapat dilihat dari daftar Anda, keluarga eksponensial memiliki sejumlah teorema berguna yang melekat padanya, dan itu mencakup kelas distribusi yang luas. Ini cukup untuk menjadikannya objek penelitian yang layak, dan kelas matematika yang berguna dalam praktik.

Adakah yang bisa memberikan keuntungan lain?

Kelas ini memiliki berbagai sifat yang baik dalam analisis Bayesian. Secara khusus, distribusi keluarga eksponensial selalu memiliki prior konjugat, dan distribusi prediksi posterior yang dihasilkan memiliki bentuk sederhana. Ini membuat adalah kelas distribusi yang sangat berguna dalam statistik Bayesian. Memang, ini memungkinkan Anda untuk melakukan analisis Bayesian menggunakan prior konjugat pada tingkat generalisasi yang sangat tinggi, mencakup semua keluarga distribusi dalam keluarga eksponensial.

— Pasang kembali Monica
sumber

Saya mendukung pencalonan "conjugate prior" sebagai alasan untuk menyukai keluarga eksponensial. Memang, prior konjugat dan statistik yang cukup bermain sangat baik bersama-sama, sehingga bersama-sama mereka akan berada di atas saya daftar alasan untuk menggunakan keluarga eksponensial.

— Peter Leopold

Ah! Seorang rekan Bayesian saya mengerti!

— Pasang kembali Monica

Bagaimana Anda tahu prediksi posterior memiliki bentuk sederhana? Sebagai contoh, prediksi posterior model normal dengan mean dan varians tidak diketahui adalah non-sentral, skala siswa T. Apakah itu bentuk sederhana?

— Neil G

@Neil G: Dengan data IID dari keluarga eksponensial, dan konjugat sebelumnya, distribusi prediktif adalah rasio dua contoh fungsi normalisasi untuk sebelumnya, di mana argumen penyebut diperbarui dengan menambahkan statistik yang cukup dan jumlah pengamatan untuk data baru. Ini adalah bentuk sederhana dan umum untuk distribusi prediktif, yang diperoleh dengan menemukan faktor normalisasi untuk congugate sebelumnya (lihat misalnya bagian 9.0.5 dari catatan ini ).

— Pasang kembali Monica

Oke saya mengerti. Saya belum pernah melihat ini sebelumnya, terima kasih.

— Neil G

Saya akan mengatakan motivasi yang paling menarik untuk keluarga eksponensial adalah bahwa mereka adalah distribusi minimum yang diberikan pengukuran yang diberikan . Jika Anda memiliki sensor bernilai nyata yang pengukurannya dirangkum dengan mean dan varians, maka asumsi minimum yang dapat Anda buat tentang pengamatannya adalah bahwa mereka terdistribusi secara normal. Setiap keluarga eksponensial adalah hasil dari serangkaian asumsi yang serupa.

Jaynes tidak menyukai prinsip entropi maksimum ini:

“Distribusi maksimum-entropi dapat ditegaskan untuk alasan positif bahwa itu secara unik ditentukan sebagai sesuatu yang secara maksimal nonkomitmen berkaitan dengan informasi yang hilang, bukannya yang negatif yang tidak ada alasan untuk berpikir sebaliknya. Jadi konsep entropi memasok kriteria pilihan yang hilang ... "

— Neil G
sumber