Bagaimana Anda menghitung fungsi kepadatan probabilitas maksimum dari sampel variabel acak seragam IID?

45

Diberikan variabel acak

Y = max (X_{1}, X_{2}, \dots, X_{n})

$Y = \max(X_1, X_2, \ldots, X_n)$

di mana $X_i$ adalah variabel seragam IID, bagaimana cara menghitung PDF $Y$ ?

pdf maximum

— Sabar
sumber

4

Jika ini adalah pekerjaan rumah, harap baca FAQ dan perbarui pertanyaan Anda sesuai.

— kardinal

Bisakah seseorang menggunakan identitas Vandermonde untuk menunjukkan fungsi gabungan dari 2 order Statistics, F_y (r) * G_y (r)?

— larry mintz

Karena minat, kursus apa yang membahas masalah semacam ini? Itu bukan sesuatu yang saya temui dalam kursus probabilitas teknik saya.

— Alex

@Alex Bagaimana dengan kursus statistik yang mencakup pengujian ulang?

— SOFe

65

Ada kemungkinan bahwa pertanyaan ini adalah pekerjaan rumah tetapi saya merasa pertanyaan probabilitas elementer klasik ini masih kurang jawaban lengkap setelah beberapa bulan, jadi saya akan memberikannya di sini.

Dari pernyataan masalah, kami ingin distribusi

Y = max {X_{1}, . . ., X_{n}}

$Y = \max \{ X_1, ..., X_n \}$

di mana adalah iid . Kita tahu bahwa jika dan hanya jika setiap elemen sampel kurang dari . Maka ini, seperti yang ditunjukkan dalam petunjuk @ varty, dikombinasikan dengan fakta bahwa independen, memungkinkan kita untuk menyimpulkan $X_1, ..., X_n$ ${\rm Uniform}(a,b)$ $Y < x$ $x$ $X_i$

P (Y \leq x) = P (X_{1} \leq x, . . ., X_{n} \leq x) = \prod_{i = 1}^{n} P (X_{i} \leq x) = F_{X} (x)^{n}

$P(Y \leq x) = P(X_1 \leq x, ..., X_n \leq x) = \prod_{i=1}^{n} P(X_i \leq x) = F_{X}(x)^n$

di mana adalah CDF dari distribusi seragam . Karenanya CDF adalah $F_{X}(x)$ $Y$

F_{Y} (y) = P (Y \leq y) = {\begin{cases} 0 & y \leq a \\ {[(y - a) / (b - a)]}^{n} & y \in (a, b) \\ 1 & y \geq b \end{cases}

$F_{Y}(y) = P(Y \leq y) = \begin{cases} 0 & y \leq a \\ \phantom{} \left[ (y-a)/(b-a) \right]^n & y\in(a,b) \\ 1 & y \geq b \\ \end{cases}$

Karena memiliki distribusi yang benar-benar kontinu, kita dapat memperoleh densitasnya dengan membedakan CDF . Oleh karena itu kepadatan adalah $Y$ $Y$

p_{Y} (y) = \frac{n (y - a)^{n - 1}}{(b - a)^{n}}

$p_{Y}(y) = \frac{n(y-a)^{n-1}}{(b-a)^{n}}$

Dalam kasus khusus di mana , kita memiliki , yang merupakan kepadatan distribusi Beta dengan dan , karena . $a=0,b=1$ $p_{Y}(y)=ny^{n-1}$ $\alpha=n$ $\beta=1$ ${\rm Beta}(n,1) = \frac{\Gamma(n+1)}{\Gamma(n)\Gamma(1)}=\frac{n!}{(n-1)!} = n$

Sebagai catatan, urutan yang Anda dapatkan jika Anda mengurutkan sampel dalam urutan meningkat - - disebut statistik pesanan . Generalisasi dari jawaban ini adalah bahwa semua statistik pesanan dari sampel yang didistribusikan memiliki distribusi Beta , seperti yang tercantum dalam jawaban @ bnaul. $X_{(1)}, ..., X_{(n)}$ ${\rm Uniform}(0,1)$

— Makro
sumber

Ini sebenarnya adalah pertanyaan pekerjaan rumah bagi saya. Terima kasih untuk penjelasannya.

— Paul PM

Saya merasa seperti saya harus bisa mengambil wawasan Anda di sini dan menjawab pertanyaan ini , tetapi saya tidak melihat bagaimana melakukannya. Bisakah Anda membantu saya? dapatkah Anda merekomendasikan buku atau bab yang membahas masalah umum ini?

@ PaulPM Karena minat, kursus apa yang membahas masalah seperti ini? Itu bukan sesuatu yang saya temui dalam kursus probabilitas teknik saya.

— Alex

6

Maksimum sampel adalah salah satu statistik urutan , khususnya th urutan statistik dari sampel . Secara umum, menghitung distribusi statistik pesanan sulit, seperti yang dijelaskan oleh artikel Wikipedia; untuk beberapa distribusi khusus, statistik pesanan terkenal (misalnya untuk distribusi seragam, yang memiliki statistik pesanan terdistribusi Beta). $n$ $X_1,\dots,X_n$

EDIT: Artikel Wikipedia tentang sampel maksimum dan minimum juga bermanfaat dan lebih spesifik untuk masalah Anda.

— bnaul
sumber

5

Untuk distribusi dengan kepadatan, menghitung distribusi marginal dari statistik urutan tertentu cukup mudah. Bahkan lebih mudah untuk statistik pesanan "khusus" seperti minimum dan maksimum.

— kardinal

Saya kira itu tergantung pada apa yang dimaksud dengan "menghitung" di pertanyaan awal. Tentu saja secara numerik itu mudah; Saya menafsirkan pertanyaan sebagai menanyakan bagaimana menemukan solusi bentuk tertutup, yang secara umum tidak mudah.

— Bnaul

8

@bnaul: Misalkan menjadi sewenang-wenang fungsi distribusi dan membiarkan menjadi sampel iid dari . Biarkan menjadi statistik urutan ke- . KemudianQED .

F (x) = P (X \leq x)

$F(x) = \mathbb P(X \leq x)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

F

$F$

X_{(k)}

$\newcommand{Xk}{X_{(k)}}\Xk$

k

$k$

P (X_{(k)} \leq x) = \sum_{m = k}^{n} P (| {i : X_{i} \leq x} | = m) = \sum_{m = k}^{n} (\binom{n}{m}) F (x)^{m} (1 - F (x))^{n - m} .

$\mathbb P(\Xk \leq x) = \sum_{m=k}^n \mathbb P( |\{i: X_i \leq x\}| = m) = \sum_{m=k}^n {n \choose m} F(x)^m (1-F(x))^{n-m} \>.$

— kardinal

1

Mungkin cara untuk memahami jawaban kardinal (mengingat Anda memahami statistik pesanan untuk seragam) adalah karena cdf merupakan transformasi monotonik 1-ke-1 dari seragam cdf, kami selalu dapat mengungkapkan acara {X <a} dalam hal seragam variabel acak (inilah sebabnya monte carlo bekerja). Jadi setiap hasil berdasarkan distribusi yang seragam akan dengan mudah digeneralisasikan ke variabel acak lainnya - cukup terapkan transformasi .

U = F_{X} (X)

$U=F_{X}(X)$

— probabilityislogic

2

@probabilityislogic: Intuisi baik, meskipun sepertinya Anda memiliki variabel acak yang terus menerus dalam komentar Anda. (Hasilnya dalam komentar kedua saya di atas, misalnya, berfungsi untuk fungsi distribusi sewenang-wenang.)

— kardinal

1

Jika adalah CDF dari , maka Anda kemudian dapat menggunakan properti iid dan cdf dari untuk menghitung . $F_{Y}(y)$ $Y$

F_{Y} (y) = Prob (y > X_{1}, y > X_{2}, . . ., y > X_{n})

$F_Y(y)=\text{Prob}(y>X_1,y>X_2,...,y>X_n)$

F_{Y} (y)

$F_Y(y)$

— varty
sumber

-3

Maksimum satu set variabel acak IID ketika dinormalisasi dengan tepat umumnya akan menyatu ke salah satu dari tiga tipe nilai ekstrim. Ini adalah teorema Gnedenko, persamaan dari teorema limit pusat untuk ekstrem. Jenis tertentu tergantung pada perilaku ekor dari distribusi populasi. Mengetahui hal ini, Anda dapat menggunakan distribusi terbatas untuk memperkirakan distribusi maksimum.

Karena distribusi seragam pada [a, b] adalah subjek dari pertanyaan ini, Makro telah memberikan distribusi yang tepat untuk setiap n dan jawaban yang sangat bagus. Hasilnya agak sepele. Untuk distribusi normal, bentuk tertutup yang bagus tidak dimungkinkan tetapi dinormalisasi dengan tepat maksimum untuk konvergen normal ke distribusi Gumbel F (x) = exp (- e ). $^-$ $^x$

Untuk seragam normalnya adalah (ba) -x / n dan F (bax / n) = (1-x / [n (ba)]) $^n$ $^n$

yang konvergen ke e . Perhatikan di sini bahwa y = bax / n. dan F (y) konvergen ke 1 saat y pergi ke ba. Ini berlaku untuk semua 0 $^-$ $^x$ $^/$ $^($ $^b$ $^-$ $^a$ $^)$ $^n$

Dalam hal ini mudah untuk membandingkan nilai yang tepat dengan batas asimptotiknya.

— Michael Chernick
sumber

4

Agar jawaban ini dapat dipraktekkan, Anda perlu menentukan, secara terperinci, bagaimana seseorang "secara normal menormalkan" nilai-nilai dan Anda juga perlu memberikan beberapa cara untuk memperkirakan berapa besar harus sebelum rumus asimptotik menjadi perkiraan yang dapat diandalkan.

n

$n$

— whuber

@whuber Siapa pun dapat melihat teorema Gnedenko untuk melihat normalisasi. Sama pentingnya adalah karakteristik ekor yang menentukan mana dari ketiga jenis yang berlaku. Teorema tersebut digeneralisasikan ke proses stokastik stasioner. Jadi siapa pun yang ingin mengetahui detail seluk beluk dapat melihat buku Leadbetter atau tesis PhD saya. Ketika n cukup besar adalah pertanyaan yang sulit dijawab untuk segala bentuk asimptotik. Saya kira teorema Berry-Esseen membantu untuk teorema limit pusat. Saya tidak tahu apa yang sebanding dengan ekstrem.

— Michael Chernick