Hubungan antara distribusi gamma dan distribusi normal

Baru-baru ini saya merasa perlu untuk mendapatkan pdf untuk kuadrat dari variabel acak normal dengan rata-rata 0. Untuk alasan apa pun, saya memilih untuk tidak menormalkan varians sebelumnya. Jika saya melakukan ini dengan benar maka pdf ini adalah sebagai berikut:

N^{2} (x; σ^{2}) = \frac{1}{σ \sqrt{2 π} \sqrt{x}} e^{\frac{- x}{2 σ^{2}}}

$N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}}$

Saya perhatikan ini sebenarnya hanyalah parametrisasi dari distribusi gamma:

N^{2} (x; σ^{2}) = Gamma (x; \frac{1}{2}, 2 σ^{2})

$N^2(x; \sigma^2) = \operatorname{Gamma}(x; \frac{1}{2}, 2 \sigma^2)$

Dan kemudian, dari fakta jumlah dua gammas (dengan parameter skala yang sama) sama dengan gamma lain, berarti bahwa gamma setara dengan jumlah kuadrat variabel acak normal. $k$

N_{Σ}^{2} (x; k, σ^{2}) = Gamma (x; \frac{k}{2}, 2 σ^{2})

$N^2_\Sigma(x; k, \sigma^2) = \operatorname{Gamma}(x; \frac{k}{2}, 2 \sigma^2)$

Ini agak mengejutkan bagi saya. Meskipun saya tahu - distribusi jumlah kuadrat standar RV normal - adalah kasus khusus dari gamma, saya tidak menyadari bahwa gamma pada dasarnya hanya generalisasi yang memungkinkan penjumlahan jumlah normal variabel acak dari varian apa pun . Ini juga mengarah pada karakterisasi lain yang belum pernah saya temui sebelumnya, seperti distribusi eksponensial yang setara dengan jumlah dari dua distribusi normal kuadrat. $\chi^2$

Ini agak misterius bagiku. Apakah distribusi normal penting untuk derivasi distribusi gamma, dengan cara yang saya uraikan di atas? Sebagian besar sumber daya yang saya periksa tidak menyebutkan bahwa kedua distribusi secara intrinsik terkait seperti ini, atau bahkan dalam hal ini menggambarkan bagaimana gamma diturunkan. Ini membuat saya berpikir bahwa kebenaran tingkat rendah sedang berperan yang saya soroti dengan cara berbelit-belit?

normal-distribution gamma-distribution

— timxyz
sumber

Banyak buku teks sarjana tentang teori probabilitas menyebutkan semua hasil di atas; tetapi mungkin teks statistik tidak mencakup ide-ide ini? Dalam kasus apapun,

variabel acak

hanya

mana

adalah variabel normal standar acak, dan sebagainya (untuk variabel iid)

hanya skala

N (0, σ^{2})

$N(0,\sigma^2)$

Y_{i}

$Y_i$

σ X_{i}

$\sigma X_i$

X_{i}

$X_i$

\sum_{i} Y_{i}^{2} = σ^{2} \sum_{i} X_{i}^{2}

$\sum_i Y_i^2 = \sigma^2 \sum_i X_i^2$

χ^{2}

$\chi^2$ variabel acak tidak mengejutkan bagi mereka yang telah mempelajari teori probabilitas.

— Dilip Sarwate

Saya dari latar belakang visi komputer jadi biasanya tidak menemukan teori probabilitas. Tidak ada buku teks saya (atau Wikipedia) yang menyebutkan interpretasi ini. Saya kira saya juga bertanya, apa yang istimewa tentang jumlah kuadrat dari dua distribusi normal yang menjadikannya model yang baik untuk waktu tunggu (yaitu distribusi eksponensial). Rasanya masih seperti kehilangan sesuatu yang lebih dalam.

— timxyz

Karena Wikipedia mendefinisikan distribusi chi-squared sebagai jumlah Normal kuadrat di en.wikipedia.org/wiki/Chi-squared_distribution#Definisi dan menyebutkan chi-squared adalah kasus khusus Gamma (di en.wikipedia.org/wiki / Gamma_distribution # Lainnya ), seseorang hampir tidak dapat mengklaim hubungan ini tidak dikenal. Varians itu sendiri hanya menetapkan unit pengukuran (parameter skala) dalam semua kasus dan karenanya tidak menimbulkan komplikasi tambahan sama sekali.

— whuber

Meskipun hasil ini terkenal di bidang probabilitas dan statistik, Anda melakukannya dengan baik @timxyz untuk menemukannya kembali dalam analisis Anda sendiri.

— Pasang kembali Monica

Koneksi ini tidak misterius, karena mereka adalah anggota keluarga eksponensial dari distribusi yang menonjol di mana mereka dapat dihubungi dengan substitusi variabel dan / atau parameter. Lihat jawaban yang lebih panjang di bawah ini dengan contoh.

— Carl

Jawaban:

Seperti komentar Prof. Sarwate mencatat, hubungan antara kuadrat normal dan chi-square adalah fakta yang sangat tersebar luas - sebagaimana seharusnya juga fakta bahwa chi-square hanyalah kasus khusus dari distribusi Gamma:

X \sim N (0, σ^{2}) \Rightarrow X^{2} / σ^{2} \sim χ_{1}^{2} \Rightarrow X^{2} \sim σ^{2} χ_{1}^{2} = Gamma (\frac{1}{2}, 2 σ^{2})

$X \sim N(0,\sigma^2) \Rightarrow X^2/\sigma^2 \sim \mathcal \chi^2_1 \Rightarrow X^2 \sim \sigma^2\mathcal \chi^2_1= \text{Gamma}\left(\frac 12, 2\sigma^2\right)$

kesetaraan terakhir berikut dari properti scaling dari Gamma.

Berkenaan dengan hubungan dengan eksponensial, untuk menjadi akurat itu adalah jumlah dari dua kuadrat rata-rata nol rata-rata masing-masing diskalakan oleh varians yang lain , yang mengarah ke distribusi Eksponensial:

X_{1} \sim N (0, σ_{1}^{2}), X_{2} \sim N (0, σ_{2}^{2}) \Rightarrow \frac{X_{1}^{2}}{σ_{1}^{2}} + \frac{X_{2}^{2}}{σ_{2}^{2}} \sim χ_{2}^{2} \Rightarrow \frac{σ_{2}^{2} X_{1}^{2} + σ_{1}^{2} X_{2}^{2}}{σ_{1}^{2} σ_{2}^{2}} \sim χ_{2}^{2}

$X_1 \sim N(0,\sigma^2_1),\;\; X_2 \sim N(0,\sigma^2_2) \Rightarrow \frac{X_1^2}{\sigma^2_1}+\frac{X_2^2}{\sigma^2_2} \sim \mathcal \chi^2_2 \Rightarrow \frac{\sigma^2_2X_1^2+ \sigma^2_1X_2^2}{\sigma^2_1\sigma^2_2} \sim \mathcal \chi^2_2$

\Rightarrow σ_{2}^{2} X_{1}^{2} + σ_{1}^{2} X_{2}^{2} \sim σ_{1}^{2} σ_{2}^{2} χ_{2}^{2} = Gamma (1, 2 σ_{1}^{2} σ_{2}^{2}) = Exp (\frac{1}{2 σ_{1}^{2} σ_{2}^{2}})

$\Rightarrow \sigma^2_2X_1^2+ \sigma^2_1X_2^2 \sim \sigma^2_1\sigma^2_2\mathcal \chi^2_2 = \text{Gamma}\left(1, 2\sigma^2_1\sigma^2_2\right) = \text{Exp}( {1\over {2\sigma^2_1\sigma^2_2}})$

Tetapi kecurigaan bahwa ada "sesuatu yang istimewa" atau "lebih dalam" dalam jumlah dua kuadrat rata-rata berarti bahwa "membuat mereka model yang baik untuk waktu tunggu" tidak berdasar: Pertama-tama, apa yang istimewa tentang distribusi eksponensial yang membuat itu model yang bagus untuk "waktu tunggu"? Memorylessness tentu saja, tetapi apakah ada sesuatu yang "lebih dalam" di sini, atau hanya bentuk fungsional sederhana dari fungsi distribusi Eksponensial, dan sifat-sifat ? Properti unik tersebar di seluruh Matematika, dan sebagian besar waktu, mereka tidak mencerminkan beberapa "intuisi yang lebih dalam" atau "struktur" - mereka hanya ada (untungnya). $e$

Kedua, kuadrat variabel memiliki hubungan yang sangat kecil dengan levelnya. Pertimbangkan saja in, katakanlah, $f(x) = x$ : $[-2,\,2]$

masukkan deskripsi gambar di sini

... atau grafik kerapatan normal standar terhadap kerapatan chi-kuadrat: mereka mencerminkan dan mewakili perilaku stokastik yang sama sekali berbeda, meskipun mereka sangat terkait erat, karena yang kedua adalah kerapatan variabel yang merupakan kuadrat dari yang pertama. Normal mungkin merupakan pilar yang sangat penting dari sistem matematika yang telah kami kembangkan untuk memodelkan perilaku stokastik - tetapi begitu Anda menyamakannya, itu menjadi sesuatu yang sama sekali berbeda.

— Alecos Papadopoulos
sumber

Terima kasih telah menjawab pertanyaan khususnya dalam paragraf terakhir saya.

— timxyz

Sama-sama. Saya harus mengakui bahwa saya senang jawaban saya mencapai OP asli 26 bulan setelah pertanyaan diposting.

— Alecos Papadopoulos

Mari kita menjawab pertanyaan yang diajukan, Ini semua agak misterius bagiku. Apakah distribusi normal penting untuk derivasi distribusi gamma ...? Tidak ada misteri sebenarnya, itu hanya bahwa distribusi normal dan distribusi gamma adalah anggota, antara lain dari keluarga distribusi eksponensial , yang keluarga didefinisikan oleh kemampuan untuk mengkonversi antara bentuk-bentuk persamaan dengan mengganti parameter dan / atau variabel. Sebagai akibatnya, ada banyak konversi dengan substitusi antar distribusi, beberapa di antaranya dirangkum dalam gambar di bawah ini.

LEEMIS, Lawrence M .; Jacquelyn T. MCQUESTON (Februari 2008). "Hubungan Distribusi Univariat" (PDF). Ahli Statistik Amerika. 62 (1): 45–53. doi: 10.1198 / 000313008x270448 mengutip

Berikut adalah dua hubungan distribusi normal dan gamma secara lebih terperinci (di antara jumlah yang tidak diketahui lainnya, seperti via chi-squared dan beta).

Pertama Hubungan yang lebih langsung antara distribusi gamma (GD) dan distribusi normal (ND) dengan mean nol mengikuti. Sederhananya, GD menjadi normal karena parameter bentuknya diizinkan untuk meningkat. Membuktikan bahwa itulah masalahnya lebih sulit. Untuk GD,

GD (z; Sebuah, b) = \begin{array}{cc} {\begin{cases} \frac{b^{- Sebuah} z^{Sebuah - 1} e^{- \frac{z}{b}}}{Γ (Sebuah)} & z > 0 \\ 0 & lain \end{cases} . \end{array}

$\text{GD}(z;a,b)=\begin{array}{cc} & \begin{cases} \dfrac{b^{-a} z^{a-1} e^{-\dfrac{z}{b}}}{\Gamma (a)} & z>0 \\ 0 & \text{other} \\ \end{cases} \,. \\ \end{array}$

Ketika parameter bentuk GD , bentuk GD menjadi lebih simetris dan normal, namun, ketika rerata meningkat dengan bertambahnya , kita harus meninggalkan pergeseran GD dengan $a\rightarrow \infty$ $a$ untuk menahannya stasioner, dan akhirnya, jika kita ingin mempertahankan standar deviasi yang sama untuk GD bergeser kita, kita harus mengurangi parameter skala () sebanding dengan $(a-1) \sqrt{\dfrac{1}{a}} k$ $b$ . $\sqrt{\dfrac{1}{a}}$

Intinya, untuk mengubah GD menjadi ND kasus pembatas, kami menetapkan standar deviasi menjadi konstanta ( ) dengan membiarkan $k$ dan geser GD ke kiri untuk memiliki mode nol dengan mengganti $b=\sqrt{\dfrac{1}{a}} k$ Kemudian $z=(a-1) \sqrt{\dfrac{1}{a}} k+x\ .$

GD ((Sebuah - 1) \sqrt{\frac{1}{Sebuah}} k + x; Sebuah, \sqrt{\frac{1}{Sebuah}} k) = \begin{array}{cc} {\begin{cases} \frac{{(\frac{k}{\sqrt{Sebuah}})}^{- Sebuah} e^{- \frac{\sqrt{Sebuah} x}{k} - Sebuah + 1} {(\frac{(Sebuah - 1) k}{\sqrt{Sebuah}} + x)}^{Sebuah - 1}}{Γ (Sebuah)} & x > \frac{k (1 - Sebuah)}{\sqrt{Sebuah}} \\ 0 & lain \end{cases} \end{array} .

$\text{GD}\left((a-1) \sqrt{\frac{1}{a}} k+x;\ a,\ \sqrt{\frac{1}{a}} k\right)=\begin{array}{cc} & \begin{cases} \dfrac{\left(\dfrac{k}{\sqrt{a}}\right)^{-a} e^{-\dfrac{\sqrt{a} x}{k}-a+1} \left(\dfrac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)} & x>\dfrac{k(1-a)}{\sqrt{a}} \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,.$

Perhatikan bahwa dalam batas sebagai nilai negatif sebagian yang GD ini adalah nol . Artinya, dukungan GD semi-tak terbatas menjadi tak terbatas . Mengambil batas sebagai dari reparameterized GD, kita menemukan $a\rightarrow\infty$ $x$ $\rightarrow -\infty$ $a\rightarrow \infty$

lim_{Sebuah \to \infty} \frac{{(\frac{k}{\sqrt{Sebuah}})}^{- Sebuah} e^{- \frac{\sqrt{Sebuah} x}{k} - Sebuah + 1} {(\frac{(Sebuah - 1) k}{\sqrt{Sebuah}} + x)}^{Sebuah - 1}}{Γ (Sebuah)} = \frac{e^{- \frac{x^{2}}{2 k^{2}}}}{\sqrt{2 π} k} = ND (x; 0, k^{2})

$\lim_{a\to \infty } \, \frac{\left(\frac{k}{\sqrt{a}}\right)^{-a} e^{-\frac{\sqrt{a} x}{k}-a+1} \left(\frac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)}=\dfrac{e^{-\dfrac{x^2}{2 k^2}}}{\sqrt{2 \pi } k}=\text{ND}\left(x;0,k^2\right)$

$k=2$ $a=1,2,4,8,16,32,64$ $\text{ND}\left(x;0,\ 2^2\right)$

Kedua Mari kita tegaskan bahwa karena kesamaan bentuk antara distribusi-distribusi ini, orang dapat cukup banyak mengembangkan hubungan antara gamma dan distribusi normal dengan menariknya keluar dari udara tipis. Selanjutnya, kami mengembangkan generalisasi distribusi gamma "tidak dilipat" dari distribusi normal.

Perhatikan terlebih dahulu bahwa itu adalah dukungan semi-tak terbatas dari distribusi gamma yang menghambat hubungan yang lebih langsung dengan distribusi normal. Namun, halangan itu dapat dihilangkan ketika mempertimbangkan distribusi setengah normal, yang juga memiliki dukungan setengah tak terbatas. Dengan demikian, seseorang dapat menggeneralisasi distribusi normal (ND) dengan terlebih dahulu melipatnya menjadi setengah normal (HND), terkait dengan distribusi gamma umum (GD), maka untuk tour de force kami , kami "membuka" keduanya (HND dan GD) untuk membuat ND umum (GND), karenanya.

Distribusi gamma umum

GD (x; α, β, γ, μ) = \begin{array}{cc} {\begin{cases} \frac{γ e^{- {(\frac{x - μ}{β})}^{γ}} {(\frac{x - μ}{β})}^{α γ - 1}}{β Γ (α)} & x > μ \\ 0 & lain \end{cases} \end{array},

$\text{GD}\left(x;\alpha ,\beta ,\gamma ,\mu \right)=\begin{array}{cc} & \begin{cases} \dfrac{\gamma e^{-\left(\dfrac{x-\mu }{\beta }\right)^{\gamma }} \left(\dfrac{x-\mu }{\beta }\right)^{\alpha \gamma -1}}{\beta \,\Gamma (\alpha )} & x>\mu \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,,$

Dapat dikalibrasi ulang menjadi distribusi setengah normal ,

GD (x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0) = \begin{array}{cc} {\begin{cases} \frac{2 θ e^{- \frac{θ^{2} x^{2}}{π}}}{π} & x > 0 \\ 0 & lain \end{cases} \end{array} = HND (x; θ)

$\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)=\begin{array}{cc} & \begin{cases} \dfrac{2 \theta e^{-\dfrac{\theta ^2 x^2}{\pi }}}{\pi } & x>0 \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,\,\,=\text{HND}(x;\theta)$

$\theta=\frac{\sqrt{\pi}}{\sigma\sqrt{2}}.$

ND (x; 0, σ^{2}) = \frac{1}{2} HND (x; θ) + \frac{1}{2} HND (- x; θ) = \frac{1}{2} GD (x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0) + \frac{1}{2} GD (- x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0),

$\text{ND}\left(x;0,\sigma^2\right)=\frac{1}{2}\text{HND}(x;\theta)+\frac{1}{2}\text{HND}(-x;\theta)=\frac{1}{2}\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)\,,$

yang menyiratkan itu

\begin{aligned} GND (x; μ, α, β) & = \frac{1}{2} GD (x; \frac{1}{β}, α, β, μ) + \frac{1}{2} GD (- x; \frac{1}{β}, α, β, μ) \\ = \frac{β e^{- {(\frac{| x - μ |}{α})}^{β}}}{2 α Γ (\frac{1}{β})} \end{aligned},

$\begin{align} \text{GND}(x;\mu,\alpha,\beta) &= \frac{1}{2}\text{GD}\left(x;\frac{1}{\beta},\alpha,\beta,\mu \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{\beta},\alpha,\beta,\mu \right)\\ &= \frac{\beta e^{-\left(\dfrac{\left|x-\mu\right|}{\alpha }\right)^{\mathrm{\Large{\beta}}}}}{2 \alpha \Gamma \left(\dfrac{1}{\beta }\right)}\\ \end{align} \,,$

$\mu$ $\alpha>0$ $\beta>0$ $\beta=2$ $\beta=1$ $\beta\rightarrow\infty$ $(\mu-\alpha,\mu+\alpha)$ $\alpha =\frac{\sqrt{\pi} }{2}\,,\beta=1/2,1,4$ $\alpha =\frac{\sqrt{\pi} }{2},\,\beta=2$

Di atas dapat dilihat sebagai distribusi normal umum 1 dan dalam parameterisasi yang berbeda dikenal sebagai distribusi daya eksponensial, dan distribusi kesalahan umum, yang pada gilirannya merupakan salah satu dari beberapa distribusi normal umum lain .

— Carl
sumber

Derivasi distribusi chi-squared dari distribusi normal jauh analog dengan derivasi distribusi gamma dari distribusi eksponensial.

Kita harus dapat menggeneralisasi ini:

$X_i$ $m$ $Y = \sum_{i}^n {X_i}^m$ $n/m$

Analoginya adalah sebagai berikut:

Distribusi normal dan Chi-kuadrat berhubungan dengan jumlah kuadrat

$\sum x_i^2$
$f(x_1, x_2, ... ,x_n) = \frac{\exp \left( {-0.5\sum_{i=1}^{n}{x_i}^2}\right)}{(2\pi)^{n/2}}$
$X_i \sim N(0,1)$

$\sum_{i=1}^n {X_i}^2 \sim \chi^2(\nu)$

Distribusi eksponensial dan gamma berhubungan dengan jumlah reguler

$\sum x_i$

$f(x_1, x_2, ... ,x_n) = \frac{\exp \left( -\lambda\sum_{i=1}^{n}{x_i} \right)}{\lambda^{-n}}$
$X_i \sim Exp(\lambda)$

$\sum_{i=1}^n X_i \sim \text{Gamma}(n,\lambda)$

$x_1,x_2,...x_n$

$\chi^2$

\begin{array}{rcl} f_{χ^{2} (n)} (s) d s & = & \frac{e^{- s / 2}}{{(2 π)}^{n / 2}} \frac{d V}{d s} d s \\ = & \frac{e^{- s / 2}}{{(2 π)}^{n / 2}} \frac{π^{n / 2}}{Γ (n / 2)} s^{n / 2 - 1} d s \\ = & \frac{1}{2^{n / 2} Γ (n / 2)} s^{n / 2 - 1} e^{- s / 2} d s \end{array}

$\begin{array}{rcl} f_{\chi^2(n)}(s) ds &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{dV}{ds} ds\\ &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{\pi^{n/2}}{\Gamma(n/2)}s^{n/2-1} ds \\ &=& \frac{1}{2^{n/2}\Gamma(n/2)}s^{n/2-1}e^{-s/2} ds \\ \end{array}$

$V(s) = \frac{\pi^{n/2}}{\Gamma (n/2+1)}s^{n/2}$ $s$

Untuk distribusi gamma:

\begin{array}{rcl} f_{G (n, λ)} (s) d s & = & \frac{e^{- λ s}}{λ^{- n}} \frac{d V}{d s} d s \\ = & \frac{e^{- λ s}}{λ^{- n}} n \frac{s^{n - 1}}{n!} d s \\ = & \frac{λ^{n}}{Γ (n)} s^{n - 1} e^{- λ s} d s \end{array}

$\begin{array}{rcl} f_{G(n,\lambda)}(s) ds &=& \frac{e^{-\lambda s}}{\lambda^{-n}} \frac{dV}{ds} ds\\ &=& \frac{e^{-\lambda s}}{\lambda^{-n}} n \frac{s^{n-1}}{n!}ds \\ &=& \frac{\lambda^{n}}{ \Gamma(n)} s^{n-1} e^{-\lambda s} ds \\ \end{array}$

$V(s) = \frac{s^n}{n!}$ $\sum x_i < s$

$Y$ $n$ $n$

Seperti yang sudah dicatat oleh Alecos Papadopoulos, tidak ada koneksi yang lebih dalam yang membuat jumlah variabel normal kuadrat 'model yang baik untuk waktu tunggu'. Distribusi gamma adalah distribusi untuk sejumlah variabel terdistribusi normal umum. Begitulah cara keduanya bersatu.

Tetapi jenis jumlah dan jenis variabel mungkin berbeda. Sementara distribusi gamma, ketika diturunkan dari distribusi eksponensial (p = 1), mendapatkan interpretasi dari distribusi eksponensial (waktu tunggu), Anda tidak dapat mundur dan kembali ke sejumlah variabel Gaussian kuadrat dan menggunakan interpretasi yang sama.

Distribusi kepadatan untuk waktu tunggu yang jatuh secara eksponensial, dan distribusi kepadatan untuk kesalahan Gaussian jatuh secara eksponensial (dengan kuadrat). Itu adalah cara lain untuk melihat keduanya terhubung.

— Sextus Empiricus
sumber