Definisi keluarga suatu distribusi?

Apakah keluarga dari suatu distribusi memiliki definisi yang berbeda untuk statistik daripada di disiplin ilmu lain?

Secara umum, keluarga kurva adalah seperangkat kurva, yang masing-masing diberikan oleh fungsi atau parametriisasi di mana satu atau lebih parameter bervariasi. Keluarga semacam itu digunakan, misalnya, untuk mengkarakterisasi komponen elektronik .

Untuk statistik, keluarga menurut satu sumber adalah hasil memvariasikan parameter bentuk. Bagaimana kita dapat memahami bahwa distribusi gamma memiliki parameter bentuk dan skala dan hanya distribusi gamma umum yang memiliki parameter lokasi? Apakah itu membuat keluarga hasil dari memvariasikan parameter lokasi? Menurut @whuber arti dari sebuah keluarga secara implisit A "parameterisasi" dari keluarga adalah peta kontinu dari subset dari ℝ n$^n$ , dengan topologi yang biasa, ke dalam ruang distribusi, yang gambarnya adalah keluarga itu.

Apa, dalam bahasa yang sederhana, sebuah keluarga untuk distribusi statistik?

Sebuah pertanyaan tentang hubungan antara sifat statistik distribusi dari keluarga yang sama telah menimbulkan kontroversi yang cukup besar untuk a pertanyaan yang berbeda sehingga tampaknya perlu untuk mengeksplorasi maknanya.

Bahwa ini belum tentu pertanyaan sederhana muncul dengan penggunaannya dalam frase keluarga eksponensial , yang tidak ada hubungannya dengan keluarga kurva, tetapi terkait dengan mengubah bentuk PDF distribusi dengan reparameterisasi tidak hanya parameter , tetapi juga penggantian fungsi variabel acak independen.

Konsep statistik dan matematika persis sama, memahami bahwa "keluarga" adalah istilah matematika umum dengan variasi teknis yang disesuaikan dengan keadaan yang berbeda:

Famili parametrik adalah kurva (atau permukaan atau generalisasi dimensi-terbatas lainnya) dalam ruang semua distribusi.

Sisa dari posting ini menjelaskan apa artinya itu. Sebagai tambahan, saya tidak berpikir semua ini kontroversial, baik secara matematis atau statistik (terlepas dari satu masalah kecil yang dicatat di bawah). Untuk mendukung pendapat ini, saya telah menyediakan banyak referensi (kebanyakan ke artikel Wikipedia).

Terminologi ini dari "keluarga" cenderung digunakan ketika belajar kelas dari fungsi ke dalam satu set Y atau "peta." Diberikan domain X , keluarga F dari peta pada X yang diparameterisasi oleh beberapa set Θ ("parameter") adalah fungsi$\mathcal C_Y$$Y$$X$ $\mathcal F$$X$ $\Theta$

di mana (1) untuk setiap , fungsi F θ : X → Y yang diberikan oleh F θ ( x ) = F ( x , θ ) berada di C Y dan (2) $\theta\in\Theta$$\mathcal{F}_\theta:X\to Y$$\mathcal{F}_\theta(x)=\mathcal{F}(x,\theta)$$\mathcal{C}_Y$$\mathcal F$ itu sendiri memiliki tertentu "bagus" sifat.

Idenya adalah kita ingin memvariasikan fungsi dari ke Y dengan cara "halus" atau terkontrol. Properti (1) berarti bahwa masing-masing θ menunjuk fungsi seperti itu, sementara perincian properti (2) akan menangkap pengertian di mana perubahan "kecil" pada θ menginduksi perubahan "kecil" yang cukup dalam F θ .$X$$Y$$\theta$$\theta$$\mathcal{F}_\theta$

Contoh matematika standar, dekat dengan yang disebutkan dalam pertanyaan, adalah homotopy . Dalam hal ini adalah kategori dari peta terus-menerus dari ruang topologi X ke dalam ruang topologi Y ; Θ = [ 0 , 1 ] ⊂ R adalah interval satuan dengan topologi biasa, dan kami mengharuskan F menjadi terus menerus peta dari produk topologi X × Θ ke Y . Ini dapat dianggap sebagai "deformasi kontinu dari peta $\mathcal{C}_Y$ $X$$Y$$\Theta=[0,1]\subset\mathbb{R}$$\mathcal{F}$$X \times \Theta$$Y$ hingga F 1. "Ketika X = [ 0 , 1 ] itu sendiri merupakan interval, peta tersebut adalahkurvadalam Y dan homotopy adalah deformasi halus dari satu kurva ke kurva lainnya.$\mathcal{F}_0$$\mathcal{F}_1$$X=[0,1]$$Y$

Untuk aplikasi statistik, adalah himpunan semua distribusi pada R (atau, dalam praktek, pada R n untuk beberapa n , tetapi untuk menjaga eksposisi sederhana saya akan fokus pada n = 1 ). Kami dapat mengidentifikasinya dengan set semua fungsi càdlàg yang tidak berkurang R → [ 0 , 1 ] di mana penutupan rentangnya mencakup 0 dan 1 : ini adalah fungsi distribusi kumulatif, atau hanya fungsi distribusi. Jadi, X = $\mathcal{C}_Y$$\mathbb{R}$$\mathbb{R}^n$$n$$n=1$$\mathbb{R}\to [0,1]$$0$$1$$X=\mathbb R$ dan.$Y=[0,1]$

Sebuah keluarga dari distribusi adalah subset dari . $\mathcal{C}_Y$ Nama lain untuk keluarga adalah model statistik. Ini terdiri dari semua distribusi yang kita anggap mengatur pengamatan kita, tetapi kita tidak tahu distribusi mana yang sebenarnya.

• Sebuah keluarga bisa kosong.
• $\mathcal{C}_Y$ itu sendiri adalah sebuah keluarga.
• Sebuah keluarga dapat terdiri dari distribusi tunggal atau hanya sejumlah terbatas.

Karakteristik set-teoretis abstrak ini memiliki minat atau utilitas yang relatif sedikit. Hanya ketika kita mempertimbangkan tambahan (relevan) struktur matematika pada bahwa konsep ini menjadi berguna. Tapi apa sifat dari C Y yang menarik statistik? Beberapa yang sering muncul adalah:$\mathcal{C}_Y$$\mathcal{C}_Y$

1. adalahset cembung: diberikan setiap dua distribusi F , G ∈ C Y , kita dapat membentukdistribusi campuran(1-t) F +t G ∈Yuntuk semuat∈[0,1]. Ini adalah semacam "homotopy" dariFke$\mathcal{C}_Y$${F}, {G}\in \mathcal{C}_Y$ $(1-t){F}+t{G}\in Y$$t\in[0,1]$$F$$G$ .

2. Sebagian besar mendukung berbagai metrik semu, seperti perbedaan Kullback-Leibler atau Informasi Fisher terkait erat metrik.$\mathcal{C}_Y$

3. memiliki struktur aditif: sesuai dengan setiap dua distribusiFdanGadalah jumlah mereka, F ⋆ G .$\mathcal{C}_Y$$F$$G$${F}\star {G}$

4. mendukung banyak berguna, fungsi alami, sering diistilahkan "sifat." Ini termasuk setiap kuantil tetap (seperti median) sertakumulans.$\mathcal{C}_Y$

5. adalah himpunan bagian darifungsi ruang. Dengan demikian, itu mewarisi banyak metrik berguna, sepertinorma sup( L ∞ norma) yang diberikan oleh | | F-G | | ∞ = sup x ∈ R | F(x)-G(x) | $\mathcal{C}_Y$$L^\infty$

   $$||F-G||_\infty = \sup_{x\in\mathbb{R}}|F(x)-G(x)|.$$

6. Natural tindakan kelompok pada menginduksi tindakan pada C Y . Tindakan yang paling umum adalah terjemahan T μ : x → x + μ dan pengukuran S σ : x → x σ untuk σ > 0 . Efeknya terhadap distribusi adalah mengirim F ke distribusi yang diberikan oleh F μ , σ ( x ) = F ( ( x - μ $\mathbb R$$\mathcal{C}_Y$ $T_\mu:x \to x+\mu$ $S_\sigma:x\to x\sigma$$\sigma\gt 0$$F$ . Ini mengarah pada konsep keluarga skala lokasi dan generalisasi mereka. (Saya tidak memberikan referensi, karena pencarian Web yang luas menghasilkan berbagai definisi yang berbeda: di sini, setidaknya, mungkin ada sedikit kontroversi.)$F^{\mu,\sigma}(x) = F((x-\mu)/\sigma)$

Properti yang penting tergantung pada masalah statistik dan pada bagaimana Anda bermaksud untuk menganalisis data. Mengatasi semua variasi yang disarankan oleh karakteristik sebelumnya akan mengambil terlalu banyak ruang untuk media ini. Mari kita fokus pada satu aplikasi penting yang umum.

Ambil, misalnya, Kemungkinan Maksimum. Di sebagian besar aplikasi, Anda ingin dapat menggunakan Kalkulus untuk memperoleh taksiran. Agar ini berhasil, Anda harus dapat "mengambil turunan" dalam keluarga.

( Teknis samping: Cara biasa di mana ini dilakukan adalah untuk memilih domain untuk d ≥ 0 dan menentukan terus menerus, secara lokal dibalik fungsi p dari Θ ke C Y (Ini berarti bahwa untuk setiap. Q ∈ Θ ada ada bola B ( θ , ϵ ) , dengan ϵ > 0 yang p ∣ B ( θ , ϵ )$\Theta\subset \mathbb{R}^d$$d\ge 0$$p$$\Theta$$\mathcal{C}_Y$$\theta\in\Theta$$B(\theta, \epsilon)$$\epsilon\gt 0$dengan jumlah yang cukup kecil kita akan selalu mendapatkan distribusi yang berbeda.)) adalah satu-ke-satu. Dengan kata lain, jika kita mengubah$p\mid_{B(\theta,\epsilon)}: B(\theta,\epsilon)\cap \Theta \to \mathcal{C}_Y$$\theta$

Akibatnya, dalam sebagian besar aplikasi ML kami meminta agar kontinu (dan mudah-mudahan, hampir di mana saja dapat dibedakan) dalam komponen Θ . (Tanpa kontinuitas, memaksimalkan kemungkinan secara umum menjadi masalah yang sulit dipecahkan.) Hal ini mengarah pada definisi berorientasi-kemungkinan berikut dari keluarga parametrik$p$$\Theta$ :

Keluarga parametrik dari distribusi (univariat) adalah peta yang tidak dapat dibalik secara lokal dengan Θ ⊂ R n , di mana (a) setiap F θ adalah fungsi distribusi dan (b) untuk setiap x ∈ R , fungsi L x : θ → [ 0 , 1 ] diberikan oleh L x ( θ ) = F ( x , θ

$$\mathcal{F}:\mathbb{R}\times\Theta \to [0,1],$$ $\Theta\subset \mathbb{R}^n$$\mathcal{F}_\theta$$x\in\mathbb R$$\mathcal{L}_x: \theta\to [0,1]$$\mathcal{L}_x(\theta) = \mathcal{F}(x,\theta)$ berkelanjutan dan hampir di mana-mana dapat dibedakan.

Perhatikan bahwa keluarga parametrik lebih dari sekedar kumpulan F θ : ia juga mencakup cara spesifik di mana nilai parameter $\mathcal F$$\mathcal{F}_\theta$$\theta$ sesuai dengan distribusi.

Mari kita akhiri dengan beberapa contoh ilustrasi.

• Biarkan menjadi himpunan semua distribusi Normal. Seperti yang diberikan, ini bukan keluarga parametrik: itu hanya keluarga. Untuk menjadi parametrik, kita harus memilih parameterisasi. Salah satu caranya adalah dengan memilih Θ = { ( μ , σ ) ∈ R 2 ∣ σ > 0 } dan untuk memetakan ( μ , σ ) ke distribusi Normal dengan rata-rata μ dan varians σ 2 .$\mathcal{C}_Y$$\Theta = \{(\mu,\sigma)\in\mathbb{R}^2\mid \sigma \gt 0\}$$(\mu,\sigma)$$\mu$$\sigma^2$

• Set distribusi Poisson $(\lambda)$ adalah keluarga parametrik dengan $\lambda\in\Theta=(0,\infty)\subset\mathbb{R}^1$ .

• Set distribusi Uniform (yang ditampilkan dengan jelas dalam banyak latihan buku teks) adalah keluarga parametrik dengan θ ∈ R 1 . Dalam hal ini, F θ ( x ) = maks ( 0 , min ( 1 , x - θ ) ) dapat dibedakan dalam θ kecuali untuk θ ∈ { x , x - 1 $(\theta, \theta+1)$$\theta\in\mathbb{R}^1$$F_\theta(x) = \max(0, \min(1, x-\theta))$$\theta$$\theta\in\{x, x-1\}$ .

• Mari dan G menjadi salah dua distribusi. Maka F ( x , θ ) = ( 1 - θ ) F ( x ) + θ G ( x ) adalah keluarga parametrik untuk θ ∈ [ 0 , 1 ] . (Bukti: gambar F adalah sekumpulan distribusi dan turunan parsialnya dalam θ sama dengan - F ( x ) + x $F$$G$$\mathcal{F}(x,\theta)=(1-\theta)F(x)+\theta G(x)$$\theta\in[0,1]$$\mathcal F$$\theta$$-F(x)+G(x)$ yang didefinisikan di mana-mana.)

• Keluarga Pearson adalah keluarga empat dimensi, , yang meliputi (antara lain) distribusi Normal, distribusi Beta, dan distribusi Inverse Gamma. Ini menggambarkan fakta bahwa setiap distribusi yang diberikan mungkin milik banyak keluarga distribusi yang berbeda . Ini sangat analog dengan mengamati bahwa setiap titik dalam ruang (cukup besar) mungkin milik banyak jalur yang bersinggungan di sana. Ini, bersama dengan konstruksi sebelumnya, menunjukkan kepada kita bahwa tidak ada distribusi yang secara unik menentukan keluarga dari mana ia berasal.$\Theta\subset\mathbb{R}^4$

• Keluarga dari semua terbatas-variance distribusi benar-benar terus menerus tidak parametrik. Buktinya membutuhkan teorema dalam topologi: jika kita memberkati C Y dengan setiap topologi (apakah secara statistik berguna atau tidak) dan p : q → C Y kontinu dan lokal memiliki invers terus menerus, maka secara lokal C Y harus memiliki dimensi yang sama seperti bahwa dari Θ . Namun, dalam semua topologi statistik bermakna, C Y adalah tak terbatas dimensi.$\mathcal{C}_Y$$\mathcal{C}_Y$$p: \Theta\to\mathcal{C}_Y$$\mathcal{C}_Y$$\Theta$$\mathcal{C}_Y$

Untuk membahas poin tertentu yang muncul dalam pertanyaan: "keluarga eksponensial" tidak menunjukkan serangkaian distribusi. (Standar, katakanlah, distribusi eksponensial adalah anggota keluarga distribusi eksponensial, keluarga eksponensial; keluarga distribusi gamma, juga keluarga eksponensial; keluarga distribusi Weibull, bukan keluarga eksponensial; & dari nomor berapa pun) keluarga lain yang mungkin Anda impikan.) Sebaliknya, "eksponensial" di sini merujuk pada properti yang dimiliki oleh keluarga distribusi. Jadi kita tidak boleh berbicara tentang "distribusi dalam keluarga eksponensial" tetapi tentang "keluarga distribusi eksponensial" - yang pertama adalah penyalahgunaan terminologi, seperti yang ditunjukkan oleh @JuhoKokkala. Untuk beberapa alasan tidak ada yang melakukan penyalahgunaan ini ketika berbicara tentang keluarga skala lokasi.

Berkat @whuber ada cukup informasi untuk diringkas dalam apa yang saya harap adalah bentuk yang lebih sederhana yang berkaitan dengan pertanyaan dari mana posting ini muncul. "Nama lain untuk keluarga [ Sic , keluarga statistik] adalah model statistik [a] ."

Dari entri Wikipedia itu: Model statistik terdiri dari semua distribusi yang kami anggap mengatur pengamatan kami, tetapi kami tidak tahu distribusi mana yang sebenarnya. Apa yang membedakan model statistik dari model matematika lainnya adalah bahwa model statistik adalah non-deterministik. Dengan demikian, dalam model statistik yang ditentukan melalui persamaan matematika, beberapa variabel tidak memiliki nilai spesifik, tetapi sebaliknya memiliki distribusi probabilitas; yaitu beberapa variabel bersifat stokastik. Model statistik biasanya dianggap sebagai pasangan$( S , P )$dimana $S$ adalah himpunan pengamatan yang mungkin, yaitu ruang sampel, dan $P$ adalah seperangkat distribusi probabilitas pada $S$.

Misalkan kita memiliki model statistik $(S, \mathcal{P})$ dengan $\mathcal{P}=\{P_{\theta} : \theta \in \Theta\}$. The model is said to be a Parametric model if $\Theta$ has a finite dimension. In notation, we write that $\Theta \subseteq \mathbb{R}^d$ where $d$ is a positive integer ($\mathbb{R}$ denotes the real numbers; other sets can be used, in principle). Here, $d$ is called the dimension of the model.

As an example, if we assume that data arise from a univariate Gaussian distribution, then we are assuming that

Thus, if we reduce the dimensionality by assigning, for the example above, $\mu=0$, we can show a family of curves by plotting $\sigma=1,2,3,4,5$ or whatever choices for $\sigma$.