Mengapa GLM memprediksi mean dan bukan mode?

Mengapa GLM memprediksi mean dan bukan mode sinyal? Bukankah ini bertentangan dengan dasar di balik GLM, yaitu kemungkinan maksimum? Persamaan untuk memecahkan parameter model dalam GLM didasarkan pada maksimalisasi kemungkinan seperti yang dijelaskan oleh distribusi probabilitas dari sinyal yang dimodelkan. Distribusi probabilitas ini maksimum untuk mode bukan untuk rata - rata (distribusi normal adalah pengecualian: kedua mode dan rata-rata adalah sama). Oleh karena itu, GLM harus memprediksi mode , bukan berarti sinyal! (Untuk beberapa latar belakang pertanyaan ini lihat di sini .)

— nukimov
sumber

Saya agak berkarat untuk memberikan ini sebagai jawaban, tetapi saya yakin idenya adalah bahwa ada distribusi kemungkinan bersyarat, dan GLM menyediakan mode distribusi itu. (Jadi ini adalah estimasi modal rata-rata.)

— Shea Parkes

Saya telah mengedit judul Anda untuk mencerminkan model StackExchange - pertanyaan adalah pertanyaan, bukan opini. (Anda harus mencoba menghindari membuat tubuh pertanyaan Anda terdengar seperti kata-kata kasar.)

— Glen_b -Reinstate Monica

Perhatikan bahwa kemungkinan adalah fungsi dari parameter, sementara model berusaha menggambarkan distribusi data. Tidak ada ketidakkonsistenan. Memang, pertimbangkan regresi logistik untuk data biner, di mana proporsi yang pas berkisar antara 0,2 dan 0,475. Mode distribusi Bernoulli dalam setiap kasus 0 - jadi Anda mengatakan bahwa model harus seluruhnya terdiri dari 0? Itu jauh lebih tidak berguna daripada model untuk rata-rata.

— Glen_b -Reinstate Monica

Hanya catatan tambahan: mode respons Anda mungkin sangat tidak informatif. Dalam contoh paling ekstrem, mode distribusi Bernoulli akan selalu 0 atau 1.

— Cliff AB

Hal yang dimaksimalkan dalam kemungkinan maksimum bukanlah kepadatan distribusi data tetapi kemungkinan parameter.

— Glen_b -Reinstate Monica

Jawaban:

Tujuan pemasangan kemungkinan maksimum adalah untuk menentukan parameter dari beberapa distribusi yang paling sesuai dengan data - dan lebih umum, bagaimana parameter tersebut dapat bervariasi dengan kovariat. Dalam kasus GLM, kami ingin menentukan parameter $\theta$ dari beberapa distribusi keluarga eksponensial, dan bagaimana mereka adalah fungsi dari beberapa kovariat $X$ .

Untuk setiap distribusi probabilitas dalam keluarga eksponensial berlebih, mean $\mu$ dijamin terkait dengan parameter keluarga eksponensial kanonik $\mathbf{\theta}$ melalui fungsi tautan kanonik, $\theta = g(\mu)$ . Kami bahkan dapat menentukan formula umum untuk $g$ , dan biasanya $g$ juga bisa dibalik. Jika kita hanya mengatur $\mu = g^{-1}(\theta)$ dan $\theta = X\beta$ , kami secara otomatis mendapatkan model untuk caranya $\mu$ dan $\theta$ berbeda dengan $X$ , tidak peduli apa pun distribusi yang kita hadapi, dan model itu dapat dengan mudah dan andal cocok dengan data dengan optimasi cembung . Jawaban Matt menunjukkan cara kerjanya untuk distribusi Bernoulli, tetapi keajaiban sebenarnya adalah ia bekerja untuk setiap distribusi dalam keluarga.

Mode tidak menikmati properti ini. Faktanya, seperti yang ditunjukkan oleh Cliff AB, mode ini mungkin bahkan tidak memiliki hubungan bijective dengan parameter distribusi, sehingga kesimpulan dari mode ini memiliki daya yang sangat terbatas. Ambil distribusi Bernoulli, misalnya. Mode ini adalah 0 atau 1, dan mengetahui mode hanya memberitahu Anda apakah $p$ , probabilitas 1, lebih besar atau kurang dari 1/2. Sebaliknya, mean memberi tahu Anda apa sebenarnya $p$ adalah.

Sekarang, untuk mengklarifikasi beberapa kebingungan dalam pertanyaan: kemungkinan maksimum bukan tentang menemukan mode distribusi, karena kemungkinan fungsi tidak sama dengan distribusi. Kemungkinannya melibatkan distribusi model Anda dalam formulanya, tetapi di situlah kesamaan berakhir. Fungsi kemungkinan $L(\theta)$ mengambil nilai parameter $\theta$ sebagai input, dan memberi tahu Anda seberapa "mungkin" seluruh dataset Anda , mengingat distribusi model memilikinya $\theta$ . Distribusi model $f_\theta(y)$ tergantung pada $\theta$ , tetapi sebagai fungsi, dibutuhkan nilai $y$ sebagai input dan memberi tahu Anda seberapa sering sampel acak dari distribusi itu akan sama $y$ . Maksimal $L(\theta)$ dan mode $f_\theta(y)$ bukan hal yang sama.

Mungkin membantu untuk melihat formula kemungkinan. Dalam hal data IID $y_1,y_2,\ldots,y_n$ , kita punya

L (θ) = \prod_{i = 1}^{n} f_{θ} (y_{i})

$L(\theta) = \prod_{i=1}^n f_\theta(y_i)$ Nilai-nilai

y_{i}

$y_i$ semuanya sudah diperbaiki - mereka adalah nilai dari data Anda. Kemungkinan maksimum adalah menemukan

θ

$\theta$ yang memaksimalkan

L (θ)

$L(\theta)$ . Menemukan mode distribusi akan menemukan

y

$y$ yang memaksimalkan

f_{θ} (y)

$f_\theta(y)$ , yang bukan itu yang kita inginkan:

y

$y$ diperbaiki dalam kemungkinan, bukan variabel.

Jadi menemukan maksimum fungsi kemungkinan tidak, secara umum, sama dengan menemukan mode distribusi model. (Ini adalah mode distribusi lain , jika Anda bertanya pada Bayesian yang objektif, tapi itu cerita yang sangat berbeda!)

— Paul
sumber

Ada dua hal yang perlu diperdebatkan di sini:

Fakta bahwa Glm mencoba memprediksi $y$ sebagai rata-rata distribusi bersyarat, dan memperkirakan parameternya $\beta$ kemungkinan maksimum konsisten.
Memperkirakan parameter dengan kemungkinan maksimum tidak menentukan mode distribusi apa pun. Setidaknya tidak dalam formulasi klasik glm.

Mari kita ambil glm non-trivial paling sederhana sebagai contoh kerja, model logistik. Dalam regresi logistik kami mendapat respons $y$ yang bernilai 0, 1. Kami mendalilkan itu $y$ terdistribusi tergantung pada data kami

y ∣ X \sim B e r n o u l l i (p (X))

$y \mid X \sim Bernoulli(p(X))$

Dan kami berusaha memperkirakan rata-rata distribusi bersyarat ini (yang dalam hal ini adil $p$ ) dengan menghubungkannya ke fungsi linear dari $X$

\log (\frac{p}{1 - p}) = X β

$\log\left(\frac{p}{1-p}\right) = X \beta$

Berhenti sejenak dan berefleksi, dalam kasus ini kita melihat bahwa adalah wajar untuk ingin tahu $p$ , yang merupakan rata - rata distribusi bersyarat.

Dalam pengaturan glm, $p$ tidak diperkirakan secara langsung $\beta$ bahwa target prosedur estimasi. Untuk mendapatkannya $\beta$ kami menggunakan kemungkinan maksimum. Probabilitas mengamati titik data $y$ dari distribusi bernoulli bersyarat, diberi nilai $X$ diamati, dan serangkaian parameter tertentu $\beta$ ,adalah

P (y ∣ X, β) = p^{y} (1 - p)^{1 - y}

$P \left( y \mid X, \beta \right) = p^y (1-p)^{1-y}$

dimana $p$ adalah fungsi dari $\beta$ dan $X$ melalui hubungan yang menghubungkan.

Perhatikan itu $y$ yang disampel dari distribusi probabilitas di sini, bukan beta.

Untuk menerapkan kemungkinan maksimum, kami membalikkan ini menjadi fungsi $\beta$ , mempertimbangkan keduanya $X$ dan $y$ sebagaimana telah diperbaiki dan diamati:

L (β) = p^{y} (1 - p)^{1 - y}

$L(\beta) = p^y (1-p)^{1-y}$

Tapi, $L$ adalah bukan fungsi kepadatan , itu adalah kemungkinan a. Ketika Anda memaksimalkan kemungkinan Anda tidak memperkirakan mode distribusi karena tidak ada distribusi untuk, well, mode-ize.

Anda dapat menghasilkan kepadatan dari $L$ dengan memberikan distribusi sebelumnya pada parameter $\beta$ dan menggunakan aturan Bayes, tetapi dalam formulasi glm klasik, ini tidak dilakukan.

— Matthew Drury
sumber

Terima kasih atas semua komentar dan jawabannya. Meskipun tidak satupun dari mereka adalah 100% jawaban atas pertanyaan saya, semuanya membantu saya untuk melihat melalui kontradiksi yang tampak. Jadi, saya memutuskan untuk merumuskan sendiri jawabannya, saya pikir ini adalah ringkasan dari semua ide yang terlibat dalam komentar dan jawaban:

Maksimalisasi kemungkinan melalui data PDF $f(y; \theta, \phi)$ dalam GLM tidak terkait dengan mode $f$ (tetapi artinya) karena 2 alasan:

Ketika Anda memaksimalkan $f(y; \theta, \phi)$ kamu tidak mempertimbangkan $f$ sebagai fungsi dari $y$ , tetapi sebagai fungsi dari $\boldsymbol\beta$ (parameter model linier). Lebih khusus lagi, ketika Anda membedakan $f$ untuk mendapatkan sistem persamaan yang mengarah untuk menentukan $\boldsymbol\beta$ , Anda tidak melakukannya sehubungan dengan $y$ ; Anda melakukannya sehubungan dengan $\boldsymbol\beta$ . Dengan demikian, proses maksimalisasi memberi Anda $\boldsymbol\beta$ yang memaksimalkan $f$ . Yang optimal $\boldsymbol\beta$ , dan tidak optimal $y$ (yang, memang, akan menjadi mode), adalah output dari proses maksimalisasi.
Selain itu, dalam proses maksimalisasi, mean, $\boldsymbol\mu$ , adalah fungsi dari $\boldsymbol\beta$ . Karena itu, melalui proses maksimalisasi kami juga memperoleh yang optimal $\boldsymbol\mu$ .

— nukimov
sumber