Apakah CDF lebih mendasar daripada PDF?

Stat prof saya pada dasarnya mengatakan, jika diberikan salah satu dari tiga berikut, Anda dapat menemukan dua lainnya:

Fungsi distribusi kumulatif
Fungsi Menghasilkan Saat
Fungsi Kerapatan Probabilitas

Tetapi profesor ekonometrik saya mengatakan CDF lebih mendasar daripada PDF karena ada contoh di mana Anda dapat memiliki CDF tetapi PDF tidak didefinisikan.

Apakah CDF lebih mendasar daripada PDF? Bagaimana saya tahu apakah PDF atau MGF dapat diturunkan dari CDF?

— Stan Shunpike
sumber

Apakah ini semacam kontes fundamentalitas? Apakah kita memiliki panel hakim selebritas? Ketiga konsep ini dapat digunakan untuk menentukan ukuran pada ruang

. Namun untuk CDF yang diberikan, MGF dan PDF mungkin tidak ada, karena PDF didefinisikan sebagai turunan dari CDF, dan MGF didefinisikan sebagai

, dan integral ini tidak perlu ada. Namun ini tidak berarti bahwa konsep-konsep ini kurang mendasar. Fundamental adalah kata sifat yang bagus yang tidak memiliki definisi matematika. Ini adalah sinonim dari yang penting.

R^{d}

$\mathbb{R}^d$

\int_{R} \exp (t x) d F (x)

$\int_{\mathbb{R}}\exp(tx)dF(x)$

— mpiktas

@mpiktas: Setiap distribusi probabilitas pada (subset dari)

memiliki CDF, dan secara unik mendefinisikan distribusi. Namun, tidak semua distribusi probabilitas memiliki PDF atau MGF (tetapi semuanya memiliki fungsi karakteristik ).

R^{n}

$\mathbb R^n$

— Ilmari Karonen

@mpiktas Anda mungkin melakukannya dengan

pada

. Maka

tidak didefinisikan. Namun demikian jelas bagi saya mengapa profesor menggunakan ungkapan "lebih mendasar". Kata sifat mungkin tidak memiliki makna matematika yang terdefinisi dengan baik, tapi jadi apa? Saya berbicara (beberapa ) Bahasa Inggris juga. Setiap PDF yang kita ketahui memiliki CDF yang mendasarinya. Di sini "mendasar" memiliki hubungan yang baik dengan "fundamental"

A = {R, \emptyset}

$\mathcal A=\{\mathbb R,\varnothing\}$

R

$\mathbb R$

P ((- \infty, x])

$P((-\infty,x])$

— .Yang

@ Radhab, tentu saja saya berbicara tentang turunan Radon-Nikodym :) Saya juga sangat mengerti apa yang ada dalam pikiran profesor, tetapi menurut pendapat saya berbahaya untuk menggunakan ekspresi seperti itu dengan siswa, karena kemudian daripada mencoba untuk memahami perbedaan antara konsep matematika mereka mencoba untuk memberi peringkat mereka sesuai dengan fundamentalitas, yang pada dasarnya salah. Pun intended.

— mpiktas

@mpiktas: pasti, tidak ada definisi yang tepat tentang "fundamental". Tapi ada jalan tengah besar antara "didefinisikan dengan ketat" dan "sama sekali tidak berarti". Dalam matematika kita sendiri, tentu saja, semuanya pada akhirnya harus benar-benar ketat, jadi kita menjadi terbiasa menampar apa pun yang tidak. Tetapi ketika kita berbicara dan berpikir tentang matematika, kita memiliki gagasan subyektif-namun-bermakna seperti "fundamental", "umum", dll juga, sama seperti orang lain; dan itu tidak masalah.

— PLL

Jawaban:

Setiap distribusi probabilitas pada (subset dari) memiliki fungsi distribusi kumulatif , dan secara unik mendefinisikan distribusi. Jadi, dalam pengertian ini, CDF memang sama mendasarnya dengan distribusi itu sendiri. $\mathbb R^n$

Sebuah fungsi kepadatan probabilitas , namun ada hanya untuk (benar-benar) distribusi probabilitas kontinu . Contoh paling sederhana dari distribusi yang tidak memiliki PDF adalah distribusi probabilitas diskrit , seperti distribusi variabel acak yang hanya mengambil nilai integer.

Tentu saja, distribusi probabilitas diskrit tersebut dapat ditandai dengan fungsi massa probabilitas sebagai gantinya, tetapi ada juga distribusi yang tidak memiliki dan PDF atau PMF, seperti campuran apa pun dari distribusi kontinu dan distribusi diskrit:

^{(Diagram tanpa malu-malu dicuri dari jawaban Glen_b untuk pertanyaan terkait.)}

Bahkan ada distribusi probabilitas singular , seperti distribusi Cantor , yang tidak dapat dijelaskan bahkan dengan kombinasi PDF dan PMF. Distribusi seperti itu masih memiliki CDF yang terdefinisi dengan baik. Sebagai contoh, berikut adalah CDF dari distribusi Cantor, juga kadang-kadang disebut "tangga Iblis":

^{( Gambar dari Wikimedia Commons oleh pengguna Theon dan Amirki , digunakan di bawah CC-By-SA 3.0 .)}

CDF, yang dikenal sebagai fungsi Cantor , kontinu tetapi tidak sepenuhnya kontinu. Bahkan, itu konstan di mana-mana kecuali pada set Cantor dari nol ukuran Lebesgue, tetapi yang masih mengandung banyak poin. Dengan demikian, seluruh massa probabilitas distribusi Cantor terkonsentrasi pada subset kecil dari garis bilangan nyata, tetapi setiap titik dalam himpunan masih secara individual memiliki probabilitas nol.

Ada juga distribusi probabilitas yang tidak memiliki fungsi penghasil momen . Mungkin contoh yang paling dikenal adalah distribusi Cauchy , distribusi berekor gemuk yang tidak memiliki momen pesanan 1 atau lebih tinggi (dengan demikian, khususnya, tidak memiliki mean atau varian yang terdefinisi dengan baik!).

Akan tetapi, semua distribusi probabilitas pada memiliki fungsi karakteristik (yang mungkin dinilai dengan rumit ), yang definisinya berbeda dari MGF hanya dengan perkalian dengan unit imajiner . Dengan demikian, fungsi karakteristik dapat dianggap sebagai fundamental seperti CDF. $\mathbb R^n$

— Ilmari Karonen
sumber

Anda mengatakan bahwa setiap distribusi memiliki CDF, tetapi tidak semua memiliki PDF, tetapi sebenarnya ada distribusi yang memiliki PDF dan tidak memiliki CDF bentuk tertutup misalnya multivarian normal.

— Tim

@ Tim: Itu benar, tetapi hanya dengan kualifikasi "bentuk tertutup"; CDF masih ada, bahkan jika kita tidak dapat menulisnya dalam bentuk tertutup. Dan dalam hal apa pun, definisi " ekspresi bentuk tertutup " terkenal kabur; oleh beberapa definisi yang ketat, bahkan distribusi normal univariat tidak memiliki CDF bentuk-tertutup, tetapi jika Anda menganggap fungsi kesalahan sebagai bentuk-tertutup, ya.

— Ilmari Karonen

@ Tim Ini bukan contoh balasan. Ini properti sewenang-wenang yang Anda pilih sebagai penting / mendasar bagi Anda. Bagi saya, properti "ada" lebih penting daripada "memiliki bentuk tertutup". Lebih dari itu, "selalu ada" versus "kadang-kadang mungkin tidak memiliki bentuk tertutup, sama seperti fungsi".

— Ark-kun

[0, 1] \subset R

$[0,1] \subset \Bbb{R}$

@ Ark-kun Saya bermain sebagai pendukung setan di sini karena ada kasus di mana PDF adalah sesuatu yang lebih "langsung tersedia" daripada CDF. Saya suka jawaban ini (+1), tapi IMHO, ini adalah sesuatu yang juga bisa disebutkan.

— Tim

Saya percaya profesor ekonometrik Anda memikirkan sesuatu seperti ini.

$F$ $[0, 1]$

F (x) = \frac{1}{2} x untuk x < \frac{1}{2}

$F(x) = \frac{1}{2}x \ \text{for} \ x < \frac{1}{2}$

F (x) = \frac{1}{2} x + \frac{1}{2} untuk x \geq \frac{1}{2}

$F(x) = \frac{1}{2}x + \frac{1}{2} \ \text{for} \ x \geq \frac{1}{2}$

$[0, 1]$

P ({\frac{1}{2}}) = \frac{1}{2}

$P\left(\left\{\frac{1}{2}\right\}\right) = \frac{1}{2}$

$f$

Dengan definisi PDF, kita harus punya

\int_{0}^{x} f (t) d t = F (x) - F (0) = \frac{1}{4} x

$\int_0^x f(t) dt = F(x) - F(0) = \frac{1}{4}x$

$0 < x < \frac{1}{2}$

f (x) = \frac{1}{4} untuk x < \frac{1}{2}

$f(x) = \frac{1}{4} \ \text{for} \ x < \frac{1}{2}$

$x > \frac{1}{2}$

f (x) = \frac{1}{4} untuk x > \frac{1}{2}

$f(x) = \frac{1}{4} \ \text{for} \ x > \frac{1}{2}$

$f$ $f\left(\frac{1}{2}\right)$ $f\left(\frac{1}{2}\right)$

P ({\frac{1}{2}}) = \frac{1}{2}

$P\left(\left\{\frac{1}{2}\right\}\right) = \frac{1}{2}$

kami akan membutuhkan

\int_{\frac{1}{2} - ϵ}^{\frac{1}{2} + ϵ} f (t) d t > \frac{1}{2}

$\int_{\frac{1}{2} - \epsilon}^{\frac{1}{2} + \epsilon} f(t) dt > \frac{1}{2}$

$\frac{1}{2}$

\int_{\frac{1}{2} - ϵ}^{\frac{1}{2} + ϵ} f (t) d t = \int_{\frac{1}{2} - ϵ}^{\frac{1}{2} + ϵ} \frac{1}{4} d t = \frac{1}{2} ϵ

$\int_{\frac{1}{2} - \epsilon}^{\frac{1}{2} + \epsilon} f(t) dt = \int_{\frac{1}{2} - \epsilon}^{\frac{1}{2} + \epsilon} \frac{1}{4} dt = \frac{1}{2} \epsilon$

$f$

Anda dapat memulihkan semangat PDF, tetapi Anda harus menggunakan objek matematika yang lebih canggih, baik ukuran atau distribusi .

— Matthew Drury
sumber

\frac{1}{2} δ (x - \frac{1}{2})

$\frac{1}{2} \delta \left(x-\frac{1}{2}\right)$

δ (x)

$\delta(x)$

x = 0

$x=0$

\int_{- \infty}^{+ \infty} δ (x) d x = 1

$\int\limits_{-\infty}^{+\infty} \delta(x) \,\mathrm{d}x = 1$

L^{1}

$L^1$ norma sehubungan dengan ukuran Lebesgue). Delta Dirac tidak memenuhi syarat - itulah sebabnya ia harus disebut "fungsi umum".

— whuber

@IwillnotexistIdonotexist Apa yang dikatakan whuber adalah apa yang saya isyaratkan di baris terakhir. Saya menggunakan kata "distribusi".

— Matthew Drury

1 / 2

$1/2$

1 / 2

$1/2$

Ilmari memberikan jawaban yang baik dari perspektif teoretis. Namun, orang mungkin juga bertanya apa tujuan kepadatan (pdf) dan fungsi distribusi (pdf) berfungsi untuk perhitungan praktis. Ini bisa menjelaskan situasi mana yang lebih bermanfaat secara langsung daripada yang lain.

$\mathbb{R}$ $(-\infty,x]$ $-$ $-$

Kepadatan itu, bagaimanapun, penting untuk statistik, karena kemungkinan didefinisikan dalam hal kepadatan. Jadi jika kita ingin menghitung estimasi kemungkinan maksimum, kita secara langsung membutuhkan kepadatan.

Jika kita beralih ke perbandingan distribusi empiris dan teoretis, keduanya dapat berguna, tetapi metode seperti pp- dan qq-plot berdasarkan fungsi distribusi sering lebih disukai.

$\mathbb{R}^d$ $d \geq 2$

— NRH
sumber