Dari mana distribusi beta?

Karena saya yakin semua orang di sini sudah tahu, PDF dari distribusi Beta $X \sim B(a,b)$ diberikan oleh

$f(x) = \frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1}$

Saya telah berburu di seluruh tempat untuk penjelasan tentang asal-usul formula ini, tetapi saya tidak dapat menemukannya. Setiap artikel yang saya temukan pada distribusi Beta tampaknya memberikan formula ini, menggambarkan beberapa bentuknya, kemudian langsung membahas momen-momennya dan dari sana.

Saya tidak suka menggunakan rumus matematika yang tidak bisa saya peroleh dan jelaskan. Untuk distribusi lain (misalnya gamma atau binomial) ada turunan yang jelas yang bisa saya pelajari dan gunakan. Tetapi saya tidak dapat menemukan hal seperti itu untuk distribusi Beta.

Jadi pertanyaan saya adalah: apa asal usul formula ini? Bagaimana itu dapat diturunkan dari prinsip pertama dalam konteks apa pun yang awalnya dikembangkan?

[Untuk memperjelas, saya tidak bertanya tentang bagaimana menggunakan distribusi Beta dalam statistik Bayesian, atau apa artinya secara intuitif dalam praktiknya (saya sudah membaca contoh baseball). Saya hanya ingin tahu cara menurunkan PDF. Ada pertanyaan sebelumnya yang menanyakan hal serupa, tetapi itu ditandai (saya pikir salah) sebagai duplikat dari pertanyaan lain yang tidak membahas masalah ini, jadi saya belum dapat menemukan bantuan di sini sejauh ini.]

EDIT 2017-05-06: Terima kasih semuanya atas pertanyaannya. Saya pikir penjelasan yang baik tentang apa yang saya inginkan berasal dari salah satu jawaban yang saya dapatkan ketika saya menanyakan hal ini kepada beberapa instruktur kursus saya:

"Saya kira orang dapat memperoleh kerapatan normal sebagai batas jumlah n hal yang dibagi dengan sqrt (n), dan Anda dapat memperoleh kerapatan poisson dari ide peristiwa yang terjadi dengan laju konstan. Demikian pula, untuk memperoleh kepadatan beta, Anda harus memiliki semacam ide tentang apa yang membuat sesuatu distribusi beta secara independen dari, dan secara logis sebelum, kepadatan. "

Jadi ide "ab initio" dalam komentar mungkin paling dekat dengan apa yang saya cari. Saya bukan ahli matematika, tetapi saya merasa paling nyaman menggunakan matematika yang bisa saya peroleh. Jika asal-usulnya terlalu maju untuk saya tangani, biarlah, tetapi jika tidak, saya ingin memahaminya.

— Will Bradshaw
sumber

Berasal dari apa? Jika pendekatan binomial-konjugat-sebelumnya tidak dapat diterima, beberapa alternatif ada di sini (misalnya statistik pesanan dari variabel acak seragam, proporsi variabel Gamma).

— GeoMatt22

Catatan: seluruh sejarah distribusi Beta disediakan di halaman Wikipedia yang tidak dapat dipercaya tentang distribusi ini, yang berisi tentang setiap detail yang mungkin!

— Xi'an

Pertanyaan sebelumnya ditandai sebagai duplikat dari yang lain setelah OP mengklarifikasi apa yang mereka cari dalam komentar. whuber mengajukan pertanyaan yang sama seperti yang dilakukan @ Geomatt22 di sini: " Derivasi berarti koneksi logis dari sesuatu yang diasumsikan menjadi sesuatu yang akan dibangun. Apa yang ingin Anda asumsikan ?"

— Scortchi

@ Aksakal tapi kemudian pertanyaannya terlalu luas - mungkin diturunkan dengan berbagai cara; jika Anda benar, saya akan menutupnya terlalu luas sampai pertanyaannya dipersempit menjadi sesuatu selain dari sekumpulan jawaban yang mungkin

— Glen_b -Reinstate Monica

Beberapa diskusi singkat tentang sedikit konteks historis ada di sini (setidaknya dalam hal hubungannya dengan fungsi beta tidak lengkap). Ini memiliki koneksi ke distribusi gamma, dan banyak, banyak distribusi lain selain dan muncul cukup masuk akal dalam sejumlah cara yang berbeda; seperti yang ditunjukkan Xi'an, ia juga memiliki asal historis dalam sistem Pearson . Apa jawaban yang Anda cari di sini? Apa yang diberikan / apa yang harus diturunkan?

— Glen_b -Reinstate Monica

Jawaban:

Sebagai mantan fisikawan, saya bisa melihat bagaimana itu bisa diturunkan. Beginilah cara fisikawan melanjutkan:

ketika mereka menemukan integral terbatas dari fungsi positif, seperti fungsi beta : mereka secara naluriah menentukan kepadatan:

B (x, y) = \int_{0}^{1} t^{x - 1} (1 - t)^{y - 1} d t

$B(x,y) = \int_0^1t^{x-1}(1-t)^{y-1}\,dt$

mana

f (s | x, y) = \frac{s^{x - 1} (1 - s)^{y - 1}}{\int_{0}^{1} t^{x - 1} (1 - t)^{y - 1} d t} = \frac{s^{x - 1} (1 - s)^{y - 1}}{B (x, y)},

$f(s|x,y)=\frac{s^{x-1}(1-s)^{y-1}}{\int_0^1t^{x-1}(1-t)^{y-1}\,dt}=\frac{s^{x-1}(1-s)^{y-1}}{B(x,y)},$

0 < s < 1

$0<s<1$

Mereka melakukan ini untuk semua jenis integral sepanjang waktu sehingga sering terjadi secara refleks tanpa berpikir. Mereka menyebut prosedur ini "normalisasi" atau nama-nama serupa. Perhatikan bagaimana menurut definisi , kerapatan memiliki semua properti yang Anda inginkan, seperti selalu positif dan menambahkan hingga satu.

Kepadatan yang saya berikan di atas adalah dari distribusi Beta. $f(t)$

MEMPERBARUI

@ whuber's bertanya apa yang istimewa dari distribusi Beta sementara logika di atas dapat diterapkan pada jumlah integral yang tidak terbatas (seperti yang saya catat dalam jawaban saya di atas)?

f^{'} (x, y | s) = (\binom{y + x}{x}) s^{x} (1 - s)^{y}

$f'(x,y|s) = \binom {y+x} x s^x(1-s)^{y}$

$x,y$ $s$ $s$

\hat{f} (x | X) = \frac{f^{'} (X | s) f (s)}{\int_{0}^{1} f^{'} (X | s) f (s) d s},

$\hat f(x|X)=\frac{f'(X|s)f(s)}{\int_0^1 f'(X|s)f(s)ds},$

f (s)

$f(s)$

f^{'} (X | s)

$f'(X|s)$

s

$s$

— Aksakal
sumber

@ Xi'an OP tampaknya tidak tertarik pada sejarah.

— Aksakal

"Penjelasan tentang asal-usul formula ini ... dalam konteks apa pun itu awalnya dikembangkan" terdengar seperti sejarah bagi saya :-).

— Whuber

Saya percaya seseorang dapat tertarik pada sejarah dan prinsip pertama pada saat yang bersamaan. :-) Meskipun jawaban Anda benar secara matematis, sayangnya itu terlalu umum: seseorang dapat membuat kepadatan fungsi non-negatif dengan integral hingga. Lalu, apa yang istimewa dari keluarga distribusi khusus ini? Dengan demikian, pendekatan Anda tampaknya tidak memuaskan kedua sudut pandang tersebut.

— Whuber

@ WillBradshaw, ya. Biasanya, kami melihat distribusi binomial sebagai fungsi dari jumlah kegagalan (atau keberhasilan) mengingat probabilitas dan jumlah percobaan sebagai parameter. Dengan cara ini distribusi yang terpisah . Namun, jika Anda melihatnya sebagai fungsi probabilitas mengingat jumlah keberhasilan dan kegagalan sebagai parameter, maka itu menjadi distribusi Beta setelah Anda skala ulang itu, distribusi kontinu , btw.

— Aksakal

The artikel Wikipedia pada distribusi Beta jejak ke Karl Pearson, persis seperti yang disarankan oleh @ Xian. Stigler, dalam bukunya The History of Statistics: Pengukuran Ketidakpastian Sebelum 1900 , memberikan penjelasan singkat tentang derivasi Pearson menggunakan notasi modern.

— whuber

$-$ $B(a,b)$ $-$ menyebutkan Wallis (1616-1703), Newton (1642-1726), dan Stirling (1692-1770) berurusan dengan kasus-kasus khusus integral bahkan lebih awal. Karl Pearson (1895) pertama di katalog keluarga ini distribusi sebagai Pearson Tipe I .

$F(p,q)$

ϱ = {\hat{σ}}_{1}^{2} / {\hat{σ}}_{2}^{2} p {\hat{σ}}_{1}^{2} \sim χ_{p}^{2} q {\hat{σ}}_{1}^{2} \sim χ_{q}^{2}

$\varrho=\hat\sigma^2_1\big/\hat\sigma_2^2\qquad p\hat\sigma_1^2\sim\chi^2_p\quad q\hat\sigma_1^2\sim\chi^2_q$

\frac{p ϱ}{q + p ϱ} \sim B (p / 2, q / 2)

$\frac{p\varrho}{q+p\varrho}\sim B(p/2,q/2)$

ω \sim B (a, b)

$\omega\sim B(a,b)$

\frac{ω / Sebuah}{(1 - ω) / b} \sim F (2 Sebuah, 2 b)

$\dfrac{\omega/a}{(1-\omega)/b}\sim F(2a,2b)$

B (a, b)

$B(a,b)$

F (p, q)

$F(p,q)$

f_{hal, q} (x) \propto {hal x / q}^{hal / 2 - 1} (1 + hal x / q)^{- (hal + q) / 2}

$f_{p,q}(x) \propto \{px/q\}^{p/2-1}(1+px/q)^{-(p+q)/2}$

y = \frac{{p x / q}}{{1 + p x / q}} y \in (0, 1)

$y=\frac{\{px/q\}}{\{1+px/q\}}\quad y\in(0,1)$

x = \frac{q y}{p (1 - y)}

$x=\frac{qy}{p(1-y)}$

\frac{d x}{d y} = \frac{q}{p (1 - y)} + \frac{q y}{p (1 - y)^{2}} = \frac{p}{q (1 - y)^{2}}

$\frac{\text{d}x}{\text{d}y}=\frac{q}{p(1-y)}+\frac{qy}{p(1-y)^2}=\frac{p}{q(1-y)^2}$

g (y) \propto y^{p / 2 - 1} (1 - y)^{q / 2 + 1} (1 - y)^{- 2} = y^{p / 2 - 1} (1 - y)^{q / 2 + 1}

$g(y)\propto y^{p/2-1}(1-y)^{q/2+1}(1-y)^{-2}=y^{p/2-1}(1-y)^{q/2+1}$ [di mana semua konstanta normalisasi diperoleh dengan memaksakan kepadatan untuk berintegrasi ke satu.

— Xi'an
sumber

+1. Mungkin perlu dicatat bahwa K. Pearson tidak hanya "katalog" distribusi Beta: ia mendapatkannya melalui solusi dari keluarga persamaan diferensial yang diilhami oleh hubungan yang ia amati antara persamaan perbedaan untuk Binomial dan persamaan diferensial untuk distribusi Normal. Generalisasi persamaan perbedaan Binomial ke distribusi hypergeometrik menghasilkan generalisasi persamaan diferensial, yang solusinya mencakup distribusi Beta "Tipe I" dan "Tipe II". Inilah jenis turunan ab initio yang tampaknya dicari OP.

— whuber

Saya pikir saya bisa belajar banyak dengan mempelajari jawaban ini. Saat ini terlalu maju untuk saya, tetapi ketika saya punya waktu saya akan kembali dan meneliti topik yang Anda sebutkan, kemudian coba lagi untuk memahaminya. Terimakasih banyak. :)

— Will Bradshaw

Pertama-tama, saya tidak bagus dalam deskripsi konsep yang tepat secara matematis di kepala saya, tetapi saya akan mencoba yang terbaik menggunakan contoh sederhana:

$\lambda$

\begin{array}{rcl} λ = g (x) = λ_{m Sebuah x} - (q | x - x_{0} |)^{\frac{1}{q}}, q > 0, 0 \leq λ \leq λ_{m Sebuah x} \end{array}

$\begin{eqnarray} \lambda=g(x)=\lambda_{max}-(q|x-x_0|)^\frac{1}{q},~q > 0,~0 \leq \lambda \leq \lambda_{max} \end{eqnarray}$ di mana x adalah jarak ke pusat target (

x_{0}

$x_0$ ). Untuk

q = 1 / 2

$q=1/2$ ini akan menjadi perkiraan orde pertama dari seorang Gaussian. Itu berarti bahwa Anda paling sering mengenai sasaran. Demikian pula, ia mendekati setiap kurva berbentuk lonceng, misalnya, yang dihasilkan dari difusi partikel Brown.

Sekarang, mari kita juga berasumsi bahwa seseorang benar-benar berani / bodoh mencoba menipu Anda dan menggeser target pada setiap tembakan. Dengan demikian kami membuat $x_0$ itu sendiri menjadi variabel acak. Jika distribusi gerakan orang itu dapat dijelaskan oleh (p-1) -kekuatan $g(x)$ (itu adalah $P(x_0) = C\cdot g(x)^{p-1})$ ), transformasi sederhana dari variabel acak (ingat $P(\lambda)d\lambda=P(x_0)dx_0$ ) mengarah ke Beta yang didistribusikan $\lambda$ :

\begin{array}{rcl} P (λ) = P (g^{- 1} (λ)) | \frac{d g^{- 1} (λ)}{d λ} | = C^{'} \cdot λ^{hal - 1} \cdot (λ_{m Sebuah x} - λ)^{q - 1} \end{array}

$\begin{eqnarray}P(\lambda) = P(g^{-1}(\lambda)) \biggl|\frac{dg^{-1}(\lambda)}{d\lambda}\biggl| = C' \cdot \lambda^{p-1} \cdot (\lambda_{max} - \lambda)^{q-1}\end{eqnarray}$

di mana normalisasi konstan $C'$ adalah fungsi beta. Untuk parametrization standar dari distribusi beta yang akan kami tetapkan $\lambda_{max} = 1$ .

Dengan kata lain distribusi beta dapat dilihat sebagai distribusi probabilitas di pusat distribusi yang gugup.

Saya harap derivasi ini mendekati makna instruktur Anda. Perhatikan bahwa bentuk fungsional dari $g(x)$ dan $P(x_0)$ sangat fleksibel dan menjangkau dari segitiga seperti distribusi dan distribusi berbentuk-U (lihat contoh di bawah) hingga distribusi yang memuncak tajam.

FYI: Saya menemukan ini sebagai efek samping dalam pekerjaan doktoral saya dan melaporkannya dalam tesis saya dalam konteks kurva tuning saraf non-stasioner yang mengarah ke distribusi jumlah lonjakan lonjakan yang meningkat nol (bimodal dengan mode di nol). Menerapkan konsep yang dijelaskan di atas menghasilkan distribusi campuran Beta-Poisson untuk aktualitas saraf. Distribusi itu dapat disesuaikan dengan data. Parameter yang dipasang memungkinkan untuk memperkirakan keduanya, distribusi $g(x)$ serta distribusi jitter $p(x_0)$ dengan menerapkan logika terbalik. Campuran Beta-Poisson adalah alternatif yang sangat menarik dan fleksibel untuk distribusi binomial negatif yang banyak digunakan (yang merupakan campuran Gamma-Poisson) untuk memodelkan penyebaran berlebih. Di bawah Anda menemukan contoh "Jitter $\rightarrow$ Beta "- ide dalam aksi:

A : Simulasi percobaan perpindahan 1D, diambil dari distribusi jitter di inset ( $P(jitter)\propto g(x)^{p-1}$ ). Lapangan tembak rata-rata percobaan (garis hitam solid) lebih luas dan memiliki tingkat puncak lebih rendah dibandingkan dengan kurva tuning yang mendasarinya tanpa jitter (garis biru solid, parameter yang digunakan: $\lambda_{max} = 10, p = .6, q=.5$ . B : Distribusi yang dihasilkan dari $\lambda$ di $x_0$ melintasi N = 100 percobaan dan pdf analitik dari distribusi Beta. C : Simulasi penghitungan lonjakan simulasi dari proses Poisson dengan parameter $\lambda_i$ di mana saya menunjukkan indeks percobaan dan distribusi Beta-Poisson yang dihasilkan seperti yang digambarkan di atas. D : Situasi analog dalam 2D dengan sudut shift acak yang mengarah ke statistik yang identik.

— Jojo
sumber