Bagaimana misalnya distribusi Gamma menyimpang mendekati nol (untuk seperangkat skala dan parameter bentuk yang sesuai, katakanlah bentuk $=0.1$dan skala ), dan masih memiliki luas yang sama dengan satu?$=10$

Seperti yang saya pahami, area distribusi kepadatan probabilitas harus selalu sama dengan satu. Jika Anda mengambil distribusi dirac delta, yang menyimpang dari nol tetapi nol di tempat lain, Anda memiliki luas yang sama dengan satu.

Entah bagaimana, jika Anda akan mengambil area distribusi Gamma yang berbeda, Anda dapat mengekspresikannya sebagai area distribusi dirac delta, ditambah sesuatu yang lebih karena memiliki bobot bukan nol pada$x\neq0$ , jadi itu akan lebih besar dari satu.

Adakah yang bisa menjelaskan mengapa alasan saya salah?

Entah bagaimana, jika Anda akan mengambil area dari distribusi Gamma yang berbeda, Anda dapat mengekspresikannya sebagai area dari distribusi dirac delta, ditambah sesuatu yang lebih karena memiliki bobot tidak nol pada $x \neq 0$, jadi itu akan lebih besar dari satu.

Di situlah alasan Anda salah: Anda tidak dapat secara otomatis mengekspresikan fungsi apa pun yang tak terbatas $x = 0$sebagai distribusi delta plus sesuatu yang lebih. Lagi pula, jika Anda bisa melakukan ini dengan$\delta(x)$, siapa bilang Anda tidak bisa melakukannya dengan $2\delta(x)$? Atau$10^{-10}\delta(x)$? Atau koefisien lainnya? Sama validnya dengan mengatakan bahwa distribusi itu nol untuk$x\neq 0$ dan tak terbatas pada $x = 0$; mengapa tidak menggunakan alasan yang sama dengan mereka?

Sebenarnya, distribusi (dalam arti matematika dari teori distribusi) harus dianggap lebih mirip fungsi fungsi - Anda memasukkan fungsi dan keluar nomor. Untuk distribusi delta secara khusus, jika Anda memasukkan fungsi$f$, kamu keluar nomornya $f(0)$. Distribusi bukanlah fungsi angka-ke-angka yang normal. Mereka lebih rumit, dan lebih mampu, daripada fungsi "biasa" seperti itu.

Gagasan mengubah fungsi menjadi angka cukup akrab bagi siapa saja yang terbiasa berurusan dengan probabilitas. Sebagai contoh, rangkaian momen distribusi - mean, standar deviasi, skewness, kurtosis, dan sebagainya - semuanya dapat dianggap sebagai aturan yang mengubah fungsi (distribusi probabilitas) menjadi angka (momen yang sesuai). Ambil nilai mean / ekspektasi, misalnya. Aturan ini mengubah distribusi probabilitas$P(x)$ ke dalam nomor $E_P[x]$, dihitung sebagai

$$E_P[x] = \int P(x)\,x\ \mathrm{d}x$$ Atau aturan untuk varian berubah $P(x)$ ke dalam nomor $\sigma_P^2$dimana $$\sigma_P^2[x] = \int P(x)\,(x - E_P[x])^2\ \mathrm{d}x$$ Notasi saya sedikit aneh di sini, tetapi mudah-mudahan Anda mendapatkan idenya. ¹

Anda mungkin memperhatikan persamaan yang dimiliki oleh aturan-aturan ini: pada semuanya, cara yang Anda dapatkan dari fungsi ke angka adalah dengan mengintegrasikan fungsi kali beberapa fungsi pembobotan lainnya. Ini adalah cara yang sangat umum untuk mewakili distribusi matematika. Jadi wajar bertanya-tanya, apakah ada fungsi pembobotan$\delta(x)$ yang memungkinkan Anda untuk mewakili aksi distribusi delta seperti ini?

$$f\to \int \delta(x)\, f(x)\ \mathrm{d}x$$ Anda dapat dengan mudah menetapkan bahwa jika ada fungsi seperti itu, itu harus sama dengan$0$ di setiap $x\neq 0$. Tetapi Anda tidak bisa mendapatkan nilai$\delta(0)$lewat sini. Anda dapat menunjukkan bahwa itu lebih besar dari angka berhingga apa pun, tetapi tidak ada nilai aktual untuk$\delta(0)$yang membuat persamaan ini berhasil, menggunakan ide-ide standar integrasi. ²

Alasan untuk itu adalah bahwa ada lebih banyak distribusi delta daripada hanya ini:

$$\begin{cases}0, & x\neq 0 \\ \infty, & x = 0\end{cases}$$ Itu "$\infty$"Menyesatkan. Ini berarti seluruh rangkaian informasi tambahan tentang distribusi delta yang tidak bisa diwakili oleh fungsi normal. Dan itulah mengapa Anda tidak dapat mengatakan dengan bermakna bahwa distribusi gamma" lebih "daripada distribusi delta. Tentu , apapun $x > 0$, nilai distribusi gamma lebih dari nilai distribusi delta, tetapi semua informasi yang berguna tentang distribusi delta terkunci pada titik tersebut di $x = 0$, dan informasi itu terlalu kaya dan kompleks untuk memungkinkan Anda mengatakan bahwa satu distribusi lebih dari yang lain.

---

Rincian teknis

¹ Sebenarnya, Anda dapat membalikkan keadaan dan memikirkan distribusi probabilitas itu sendiri sebagai distribusi matematika. Dalam pengertian ini, distribusi probabilitas adalah aturan yang membutuhkan fungsi pembobotan$x$ atau $(x - E[x])^2$ke suatu nomor, $E[x]$ atau $\sigma_x^2$masing-masing. Jika Anda berpikir seperti itu, notasi standar lebih masuk akal, tapi saya pikir ide keseluruhannya agak kurang alami untuk posting tentang distribusi matematika.

² Secara khusus, dengan "ide standar integrasi" Saya membahas tentang integrasi Riemann dan integrasi Lebesgue , yang keduanya memiliki properti bahwa dua fungsi yang berbeda hanya pada satu titik harus memiliki integral yang sama (diberi batas yang sama). Jika ada fungsi$\delta(x)$, itu akan berbeda dari fungsinya $0$ hanya pada satu titik, yaitu $x = 0$, dan dengan demikian integral kedua fungsi harus selalu sama.

$$\int_a^b \delta(x)f(x)\ \mathrm{d}x = \int_a^b (0)f(x)\ \mathrm{d}x = 0$$ Jadi tidak ada nomor yang dapat Anda berikan $\delta(0)$ yang membuatnya mereproduksi efek dari distribusi delta.

Dirac delta adalah benar-benar tidak terlalu berguna di sini (meskipun adalah menarik), karena distribusi Gamma memiliki kepadatan terus menerus, sedangkan Dirac adalah sebagai non-kontinyu seperti yang Anda dapatkan.

Anda benar bahwa integral dari probabilitas kepadatan harus satu (saya akan tetap pada kepadatan yang ditentukan hanya pada sumbu positif),

$$\int_0^\infty f(x)\,dx =1.$$

Dalam kasus Gamma, kepadatan $f(x)$ menyimpang sebagai $x\to 0$, jadi kita memiliki apa yang disebut integral yang tidak tepat . Dalam kasus seperti itu, integral didefinisikan sebagai batas ketika batas-batas integrasi mendekati titik di mana integand tidak didefinisikan,

$$\int_0^\infty f(x)\,dx := \lim_{a\to 0}\int_a^\infty f(x)\,dx,$$

selama batas ini ada .

(Kebetulan, kami menggunakan penyalahgunaan notasi yang sama untuk memberi makna pada simbol "$\int^\infty$", yang didefinisikan sebagai batas integral $\int^b$ sebagai $b\to\infty$, lagi selama batas ini ada . Jadi dalam kasus khusus ini, kami memiliki dua poin bermasalah -$0$, di mana integand tidak didefinisikan, dan $\infty$, di mana kita tidak dapat mengevaluasi integral secara langsung. Kita perlu bekerja dengan batasan dalam kedua kasus.)

Khusus untuk distribusi Gamma, kami agak mengesampingkan masalahnya. Kami pertama-tama mendefinisikan fungsi Gamma sebagai berikut:

$$\Gamma(k) := \int_0^\infty y^{k-1}e^{-y}\,dy.$$

Kami selanjutnya membuktikan bahwa definisi ini benar-benar masuk akal, dalam arti batas yang berbeda yang diuraikan di atas. Untuk kesederhanaan, di sini kita bisa berpegang teguh$k>0$, meskipun definisi dapat diperluas ke (banyak) nilai kompleks $k$demikian juga. Pemeriksaan ini adalah aplikasi standar kalkulus dan latihan yang bagus.

Selanjutnya, kita gantikan $x:=\theta y$ untuk $\theta>0$ dan dengan perubahan variabel rumus dapatkan

$$\Gamma(k) = \int_0^\infty \frac{x^{k-1}e^{-\frac{x}{\theta}}}{\theta^k}\,dx,$$

dari mana kita mendapatkannya

$$1 = \int_0^\infty \frac{x^{k-1}e^{-\frac{x}{\theta}}}{\Gamma(k)\theta^k}\,dx.$$

Yaitu, integrand terintegrasi ke satu dan karenanya merupakan kepadatan probabilitas. Kami menyebutnya distribusi Gamma dengan bentuk$k$ dan skala $\theta$.

Sekarang, saya menyadari bahwa saya benar-benar berhasil dalam hal ini. Argumennya terletak pada fakta bahwa definisi fungsi Gamma di atas memang masuk akal. Namun, ini adalah kalkulus langsung, bukan statistik, jadi saya hanya merasa sedikit bersalah dalam merujuk Anda ke buku teks kalkulus favorit Anda dan tag fungsi gamma di Math.SO , terutama pertanyaan ini dan pertanyaan ini .

Pertimbangkan kepadatan eksponensial standar $f(x)=\exp(-x)\,,\:x>0$ dan pertimbangkan sebidang $y=f(x)$ vs. $x$ (panel kiri pada diagram di bawah).

Mungkin Anda tidak menemukan bahwa ada kepadatan positif untuk semua $x>0$ namun demikian daerah tersebut masih demikian $1$.

Sekarang mari kita tukar $x$ dan $y$ ... biarkan saja $x=\exp(-y)$, atau $y = -\ln(x)$, untuk $0<x\leq 1$. Sekarang ini adalah kepadatan yang valid, yang asimtot ke$y$ sumbu (jadi tidak dibatasi sebagai $x\to 0$), tetapi areanya jelas identik dengan eksponensial (yaitu area di bawah kurva harus tetap 1 - yang kami lakukan hanyalah merefleksikan bentuknya, dan refleksinya adalah melestarikan area).

Jelas, kemudian, kepadatan bisa tidak terbatas tetapi memiliki luas 1.

Ini benar-benar pertanyaan kalkulus, bukan statistik. Anda bertanya bagaimana fungsi yang tidak terhingga pada beberapa nilai argumennya masih dapat memiliki area terbatas di bawah kurva?

Itu pertanyaan yang valid. Misalnya, jika alih-alih fungsi Gamma Anda mengambil hiperbola:$y=1/x$, untuk $x=[0,\infty)$ maka area di bawah kurva tidak konvergen, tidak terbatas.

Jadi, cukup ajaib bahwa jumlah tertimbang dari angka yang sangat besar atau bahkan tak terbatas beberapa cara menyatu ke angka yang terbatas. Jumlahnya ditimbang karena jika Anda melihat definisi integral Riemann, itu bisa menjadi jumlah seperti ini:

$$\int_0^\infty 1/x dx=\lim_{n\rightarrow\infty} \sum_{i=0}^n \frac{\Delta x_i}{x_i}$$ Jadi, tergantung poin mana $x_i$ Anda memilih, bobot $\Delta x_i$bisa kecil atau besar. Saat Anda mendekati 0,$1/x_i$ menjadi lebih besar, tetapi begitu juga $\Delta x_i$menjadi lebih kecil. Dalam kompetisi ini$1/x_i$ menang, dan integral tidak bertemu.

Untuk distribusi Gamma terjadi begitu saja $\Delta x_i$menyusut lebih cepat daripada Gamma PDF tumbuh, dan daerah itu akhirnya menjadi terbatas. Ini kalkulus langsung untuk melihat bagaimana tepatnya konvergen menjadi 1.

Lihatlah contoh berikut. Perhatikan bahwa untuk apa pun yang terbatas$N$,

$$\int_0^N \frac{1}{x} dx = \log(N)-\log(0)$$

tapi $\log(0)$ tidak terdefinisi sehingga integral adalah $\infty$dalam arti tertentu (ini memiliki batas di sana, tetapi abaikan saja). Tapi

$$\int_0^N \frac{1}{\sqrt{x}} dx = \sqrt{N} - \sqrt{0} = \sqrt{N}$$

Secara umum, ini didasarkan pada gagasan itu

$$\int \frac{1}{x^p} dx = x^{1-p}$$

jadi jika $1-p>0$teorema dasar kalkulus memberi tahu Anda bahwa integralnya terbatas. Jadi idenya adalah bahwa ia menyimpang cukup lambat (di mana$p$ adalah kecepatan) bahwa area tersebut masih dibatasi.

Ini mirip dengan konvergensi seri. Ingat bahwa dengan uji-p kita memilikinya

$$\sum_0^\infty \frac{1}{x^p}$$

konvergen jika dan hanya jika $p>1$. Dalam hal ini kita perlu$x^p \rightarrow \infty$ cukup cepat, dimana sekali lagi $p$ adalah kecepatan dan $1$ adalah titik baliknya.

Mengapa ini bisa menjadi hal yang aktual? Pikirkan tentang kepingan salju Koch . Dalam contoh ini Anda terus menambahkan perimeter kepingan salju sedemikian rupa sehingga area tersebut tumbuh perlahan. Ini disebabkan oleh fakta bahwa jika Anda membuat segitiga sama sisi dengan ukuran sisi$\frac{1}{3}$, kelilingnya adalah 1 saat luasnya $\frac{1}{12\sqrt{3}}\sim 0.05$. Karena area tersebut jauh lebih kecil daripada perimeter (ini adalah perkalian dua angka kecil daripada penambahan!), Anda dapat memilih untuk menambahkan segitiga sedemikian rupa sehingga perimeter menjadi tak terhingga sementara area tetap terbatas. Untuk melakukannya, Anda harus memilih kecepatan di mana segitiga menjadi nol, dan seperti yang mungkin Anda duga sekarang, ada kecepatan di mana segitiga berubah dari terlalu lambat dan memberikan area tak terbatas menjadi cukup cepat untuk memberikan area terbatas.

Secara total, kalkulus memberi tahu kita bahwa tidak semua singularitas (bahwa "titik-titik tak terhingga" seperti nol adalah sama). Ada perbedaan besar berdasarkan "kecepatan lokal" singularitas.$\Gamma$hanya memiliki singularitas yang "cukup lambat" sehingga area tersebut terbatas. Jika Anda ingin mempelajari lebih lanjut tentang singularitas "mengapa" bekerja seperti ini, Anda dapat mempelajari lebih banyak detail dalam Analisis Kompleks dan studi tentang singularitas fungsi analitik kompleks (di antaranya$\Gamma$ adalah).