Kita dapat mengambil berbagai pendekatan untuk ini, yang salah satu di antaranya mungkin tampak intuitif bagi sebagian orang dan kurang intuitif bagi yang lain. Untuk mengakomodasi variasi seperti itu, jawaban ini mensurvei beberapa pendekatan seperti itu, yang meliputi divisi utama dari pemikiran matematika - analisis (tak terbatas dan sangat kecil), geometri / topologi (hubungan spasial), dan aljabar (pola formal manipulasi simbolik) - sebagai serta probabilitas itu sendiri. Ini memuncak dalam pengamatan yang menyatukan keempat pendekatan, menunjukkan ada pertanyaan asli untuk dijawab di sini, dan menunjukkan dengan tepat apa masalahnya. Setiap pendekatan menyediakan, dengan caranya sendiri, wawasan yang lebih dalam tentang sifat bentuk fungsi distribusi probabilitas dari jumlah variabel seragam independen.
Latar Belakang
The Uniform distribusi[0,1] memiliki beberapa deskripsi dasar. Ketika memiliki distribusi seperti itu,X
Peluang terletak pada himpunan terukur hanyalah ukuran (panjang) , ditulis.A A ∩ [ 0 , 1 ] | A ∩ [ 0 , 1 ] |XAA∩[0,1]|A∩[0,1]|
Dari sini langsung bahwa fungsi distribusi kumulatif (CDF) adalah
FX(x)=Pr(X≤x)=|(−∞,x]∩[0,1]|=|[0,min(x,1)]|=⎧⎩⎨⎪⎪0x1x<00≤x≤1x>1.
Fungsi probabilitas kerapatan (PDF), yang merupakan turunan dari CDF, adalah untuk dan sebaliknya. (Tidak ditentukan pada dan )fX(x)=10≤x≤1fX(x)=001
Intuisi dari Fungsi Karakteristik (Analisis)
Fungsi karakteristik (CF) dari setiap variabel acak adalah harapan (di mana adalah unit imajiner, ). Menggunakan PDF dari distribusi seragam yang dapat kita hitungXexp(itX)ii2=−1
ϕX(t)=∫∞−∞exp(itx)fX(x)dx=∫10exp(itx)dx=exp(itx)it∣∣∣x=1x=0=exp(it)−1it.
CF adalah (versi dari) Transformasi Fourier dari PDF, . Teorema paling mendasar tentang transformasi Fourier adalah:ϕ(t)=f^(t)
CF dari sejumlah variabel independen adalah produk CF mereka.X+Y
Ketika PDF asli kontinu dan dibatasi, dapat dipulihkan dari CF oleh versi Fourier transform yang terkait erat,fXfϕ
f(x)=ϕˇ(x)=12π∫∞−∞exp(−ixt)ϕ(t)dt.
Ketika dapat dibedakan, turunannya dapat dihitung dengan tanda integral:f
f′(x)=ddx12π∫∞−∞exp(−ixt)ϕ(t)dt=−i2π∫∞−∞texp(−ixt)ϕ(t)dt.
Agar ini didefinisikan dengan baik, integral terakhir harus benar-benar bertemu; itu adalah,
∫∞−∞|texp(−ixt)ϕ(t)|dt=∫∞−∞|t||ϕ(t)|dt
harus konvergen ke nilai yang terbatas. Sebaliknya, ketika konvergen bertemu, turunannya ada di mana-mana berdasarkan rumus inversi ini.
Sekarang jelas bagaimana persisnya diferensiasi PDF untuk jumlah variabel seragam: dari peluru pertama, CF dari jumlah variabel iid adalah CF yang salah satunya dinaikkan menjadi kekuatan , di sini sama dengan . Pembilangnya dibatasi (terdiri dari gelombang sinus) sedangkan penyebutnya adalah . Kita dapat melipatgandakan integrasi seperti itu dengan dan itu akan tetap menyatu secara absolut ketika dan bertemu secara kondisional ketika . Dengan demikian, aplikasi berulang dari peluru ketiga menunjukkan bahwa PDF untuk jumlah varian seragam akan terus menerusnnth(exp(it)−1)n/(it)nO(tn)tss<n−1s=n−1nn−2kali dapat dibedakan dan, di sebagian besar tempat, akan kali dapat dibedakan.n−1
Kurva berbayang biru adalah plot log-log dari nilai absolut dari bagian nyata CF dari jumlah iid seragam seragam. Garis merah putus-putus adalah asimtot; kemiringannya adalah , menunjukkan bahwa PDF adalah kali dapat dibedakan. Untuk referensi, kurva abu-abu memplot bagian nyata CF untuk fungsi Gaussian yang berbentuk serupa (PDF normal).n=10−1010−2=8
Intuisi dari Probabilitas
Biarkan dan menjadi variabel acak independen di mana memiliki distribusi Uniform . Pertimbangkan interval sempit menguraikan peluang bahwa menjadi peluang bahwa cukup dekat dengan interval ini dikali peluang bahwa adalah ukuran yang tepat untuk menempatkan dalam interval ini, mengingat bahwa cukup dekat:YXX[0,1](t,t+dt]X+Y∈(t,t+dt]YXX+YY
fX+Y(t)dt=Pr(X+Y∈(t,t+dt])=Pr(X+Y∈(t,t+dt]|Y∈(t−1,t+dt])Pr(Y∈(t−1,t+dt])=Pr(X∈(t−Y,t−Y+dt]|Y∈(t−1,t+dt])(FY(t+dt)−FY(t−1))=1dt(FY(t+dt)−FY(t−1)).
Kesetaraan akhir berasal dari ekspresi untuk PDF dari . Membagi kedua sisi dengan dan mengambil batas sebagai memberikanXdtdt→0
fX+Y(t)=FY(t)−FY(t−1).
Dengan kata lain, menambahkan Seragam variabel ke sembarang variabel mengubah pdf menjadi CDF . Karena PDF adalah turunan dari CDF, ini menyiratkan bahwa setiap kali kami menambahkan variabel seragam independen ke , hasil PDF satu kali lebih dapat dibedakan dari sebelumnya.[0,1]XYfYFY(t)−FY(t−1)Y
Mari kita menerapkan wawasan ini, dimulai dengan variabel seragam . PDF asli tidak dapat dibedakan pada atau : itu terputus-putus di sana. PDF dari tidak terdiferensiasi di , , atau , tetapi harus terus menerus pada titik-titik, karena itu adalah perbedaan integral dari PDF dari . Tambahkan variabel seragam independen lain : PDF dapat dibedakan pada , , , dan tetapi tidak harus memiliki yang keduaY01Y+X012YX2Y+X+X2 0123turunan pada titik-titik tersebut. Dan seterusnya.
Intuisi dari Geometri
CDF pada dari jumlah iid uniform variates sama dengan volume unit hypercube terletak di dalam ruang setengah . Situasi untuk variasi ditunjukkan di sini, dengan ditetapkan pada , , dan kemudian .tn[0,1]nx1+x2+⋯+xn≤tn=3t1/23/25/2
Ketika berkembang dari hingga , hyperplane melintasi simpul pada , . Pada setiap kali bentuk penampang berubah: pada gambar itu pertama adalah segitiga (a -simpleks), kemudian segi enam, lalu segitiga lagi. Mengapa PDF tidak memiliki tikungan tajam pada nilai ?t0nHn(t):x1+x2+⋯+xn=tt=0t=1,…,t=n2t
Untuk memahami hal ini, pertama-tama pertimbangkan nilai-nilai kecil . Di sini, hyperplane memotong -simplex. Semua dimensi simpleks berbanding lurus dengan , di mana "area" -nya sebanding dengan . Beberapa notasi untuk ini akan berguna nanti. Biarkan menjadi "fungsi unit step,"tHn(t)n−1n−1ttn−1θ
θ(x)={01x<0x≥0.
Jika bukan karena adanya sudut-sudut lain dari hypercube, penskalaan ini akan berlanjut tanpa batas. Plot area -simplex akan terlihat seperti kurva biru solid di bawah ini: nol pada nilai negatif dan sama denganpada yang positif, ditulis dengan nyaman. Ia memiliki "ketegaran" urutan pada titik asal, dalam arti bahwa semua turunan melalui urutan ada dan kontinu, tetapi turunan kiri dan kanan urutan ada tetapi tidak setuju pada titik asal. .n−1tn−1/(n−1)!θ(t)tn−1/(n−1)!n−2n−3n−2
(Kurva lain yang ditunjukkan pada gambar ini adalah (Merah), (Emas), dan (Hitam). Peran mereka dalam kasus dibahas lebih lanjut di bawah.)−3θ(t−1)(t−1)2/2!3θ(t−2)(t−2)2/2!−θ(t−3)(t−3)2/2!n=3
Untuk memahami apa yang terjadi ketika melintasi , mari kita periksa secara detail kasus , di mana semua geometri terjadi pada bidang. Kami dapat melihat unit "kubus" (sekarang hanya persegi) sebagai kombinasi linear kuadran , seperti yang ditunjukkan di sini:t1n=2
Kuadran pertama muncul di panel kiri bawah, berwarna abu-abu. Nilai adalah , menentukan garis diagonal yang ditunjukkan di kelima panel. CDF sama dengan area kuning yang ditunjukkan di kanan. Area kuning ini terdiri dari:t1.5
Area abu-abu segitiga di panel kiri bawah,
minus area hijau segitiga di panel kiri atas,
minus area merah segitiga di panel tengah rendah,
ditambah area biru di panel tengah atas (tetapi tidak ada area seperti itu, juga tidak akan ada hingga melebihi ).t2
Setiap area ini adalah area segitiga. Skala pertama seperti , dua berikutnya adalah nol untuk dan skala seperti , dan yang terakhir adalah nol untuk dan sisik seperti . Analisis geometrik ini menetapkan bahwa CDF sebanding dengan = ; setara, PDF sebanding dengan jumlah dari tiga fungsi , , dan2n=4tn=t2t<1(t−1)n=(t−1)2t<2(t−2)nθ(t)t2−θ(t−1)(t−1)2−θ(t−1)(t−1)2+θ(t−2)(t−2)2θ(t)t2−2θ(t−1)(t−1)2+θ(t−2)(t−2)2θ(t)t−2θ(t−1)(t−1)θ(t−2)(t−2)(masing-masing skala linear ketika ). Panel kiri gambar ini menunjukkan grafik mereka: jelas, mereka semua adalah versi dari grafik asli , tetapi (a) digeser oleh , , dan unit ke kanan dan (b) ditulis ulang oleh , , dan , masing-masing.n=2θ(t)t0121−21
Panel kanan menunjukkan jumlah grafik ini (kurva hitam solid, dinormalisasi untuk memiliki satuan luas: ini justru PDF yang tampak seperti sudut yang ditunjukkan dalam pertanyaan asli.
Sekarang kita dapat memahami sifat "kekusutan" dalam PDF dari setiap jumlah variabel seragam iid. Mereka semua persis seperti "ketegaran" yang terjadi pada dalam fungsi , mungkin diubah skala, dan bergeser ke bilangan bulat sesuai dengan tempat hyperplane melintasi simpul dari hypercube. Untuk , ini adalah perubahan arah yang terlihat: turunan kanan pada adalah sedangkan turunan kirinya adalah . Untuk , ini adalah kontinu0θ(t)tn−11,2,…,nHn(t)n=2θ(t)t001n=3perubahan arah, tetapi perubahan mendadak (terputus-putus) dalam turunan kedua. Untuk umum , akan ada turunan kontinu melalui urutan tetapi diskontinuitas dalam turunan .nn−2n−1st
Intuisi dari Manipulasi Aljabar
Integrasi untuk menghitung CF, bentuk probabilitas kondisional dalam analisis probabilistik, dan sintesis hypercube sebagai kombinasi linear kuadran semua menyarankan untuk kembali ke distribusi seragam asli dan menyatakan kembali sebagai kombinasi linear dari hal-hal sederhana. . Memang, PDF-nya bisa ditulis
fX(x)=θ(x)−θ(x−1).
Mari kita perkenalkan operator shift : ia bekerja pada fungsi apa saja dengan menggeser grafiknya satu unit ke kanan:Δf
(Δf)(x)=f(x−1).
Maka, secara formal, untuk PDF dari variabel seragam dapat kita tulisX
fX=(1−Δ)θ.
PDF dari jumlah seragam iid adalah konvolusi dari dengan dirinya sendiri kali. Ini mengikuti dari definisi sejumlah variabel acak: konvolusi dua fungsi dan adalah fungsinfXnfg
(f⋆g)(x)=∫∞−∞f(x−y)g(y)dy.
Sangat mudah untuk memverifikasi bahwa konvolusi berjalan dengan . Ubah saja variabel integrasi dari ke :Δyy+1
(f⋆(Δg))=∫∞−∞f(x−y)(Δg)(y)dy=∫∞−∞f(x−y)g(y−1)dy=∫∞−∞f((x−1)−y)g(y)dy=(Δ(f⋆g))(x).
Untuk PDF dari jumlah seragam iid, kita sekarang dapat melanjutkan aljabar untuk menulisn
f=f⋆nX=((1−Δ)θ)⋆n=(1−Δ)nθ⋆n
(di mana "power" menunjukkan konvolusi berulang, bukan perkalian secara langsung!). Sekarang adalah integrasi, langsung dasar, memberi⋆nθ⋆n
θ⋆n(x)=θ(x)xn−1n−1!.
Sisanya adalah aljabar, karena Teorema Binomial berlaku (seperti halnya dalam aljabar komutatif apa pun atas real):
f=(1−Δ)nθ⋆n=∑i=0n(−1)i(ni)Δiθ⋆n.
Karena hanya menggeser argumennya oleh , ini menunjukkan PDF sebagai kombinasi linear dari versi bergeser dari , persis seperti yang kita simpulkan secara geometris:Δiifθ(x)xn−1
f(x)=1(n−1)!∑i=0n(−1)i(ni)(x−i)n−1θ(x−i).
(John Cook mengutip formula ini nanti dalam posting blog-nya, menggunakan notasi untuk .)(x−i)n−1+(x−i)n−1θ(x−i)
Oleh karena itu, karena adalah fungsi yang lancar di mana-mana, perilaku singular dari PDF akan terjadi hanya di tempat-tempat di mana tunggal (jelas hanya ) dan di tempat-tempat itu bergeser ke kanan sebesar . Sifat perilaku tunggal itu - tingkat kelancaran - karena itu akan sama di semua lokasi .xn−1θ(x)01,2,…,nn+1
Menggambarkan ini adalah gambar untuk , menunjukkan (di panel kiri) istilah individu dalam jumlah dan (di panel kanan) jumlah parsial, yang berpuncak pada jumlah itu sendiri (kurva hitam solid):n=8
Komentar Penutupan
Hal ini berguna untuk dicatat bahwa pendekatan terakhir ini akhirnya menghasilkan kompak, ekspresi praktis untuk menghitung PDF dari jumlah variabel seragam iid. (Formula untuk CDF diperoleh dengan cara yang sama.)n
Teorema Limit Pusat tidak banyak bicara di sini. Bagaimanapun, sejumlah variabel Binomial iid menyatu ke distribusi Normal, tetapi jumlah itu selalu terpisah: ia bahkan tidak pernah memiliki PDF sama sekali! Kita seharusnya tidak mengharapkan intuisi tentang "ketegaran" atau ukuran pembeda lain dari PDF yang berasal dari CLT.