Apa makna intuitif di balik memasukkan variabel acak ke pdf atau cdf sendiri?

Sebuah pdf biasanya ditulis sebagai , di mana huruf kecil diperlakukan sebagai realisasi atau hasil dari variabel acak yang memiliki pdf itu. Demikian pula, cdf ditulis sebagai , yang memiliki arti . Namun, dalam beberapa keadaan, seperti definisi fungsi skor dan derivasi ini bahwa cdf didistribusikan secara seragam , tampak bahwa variabel acak sedang terhubung ke pdf / cdf-nya sendiri; dengan melakukan itu, kita mendapatkan variabel acak baru atau $f(x|\theta)$ $x$ $X$ $F_X(x)$ $P(X<x)$ $X$ $Y=f(X|\theta)$ $Z=F_X(X)$ . Saya tidak berpikir kita bisa menyebutnya pdf atau cdf lagi karena sekarang variabel itu sendiri acak, dan dalam kasus terakhir, "interpretasi" sepertinya tidak masuk akal bagi saya. $F_X(X)=P(X<X)$

Selain itu, dalam kasus terakhir di atas, saya tidak yakin saya memahami pernyataan "cdf dari variabel acak mengikuti distribusi yang seragam". Cdf adalah fungsi, bukan variabel acak, dan karena itu tidak memiliki distribusi. Sebaliknya, apa yang memiliki distribusi seragam adalah variabel acak ditransformasikan menggunakan fungsi yang mewakili cdf sendiri, tetapi saya tidak melihat mengapa transformasi ini bermakna. Hal yang sama berlaku untuk fungsi skor, di mana kita memasukkan variabel acak ke dalam fungsi yang mewakili kemungkinan log-nya sendiri.

Saya telah menghancurkan otak saya selama berminggu-minggu mencoba untuk menemukan makna intuitif di balik transformasi ini, tetapi saya terjebak. Wawasan apa pun akan sangat dihargai!

— mai
sumber

Notasi itu mungkin membingungkan Anda. Misalnya, adalah persis seperti yang bermakna sebagai menerapkan setiap fungsi terukur untuk akan. Untuk interpretasi yang benar, Anda harus sangat jelas tentang apa variabel acak itu . Untuk variabel acak fungsi untuk jelas merupakan variabel acak dan oleh karena itu memiliki distribusi(Perhatikan dua arti berbeda dari simbol " " di " .") seragam jika dan hanya jika memiliki distribusi kontinu.

F_{X} (X)

$F_X(X)$

X

$X$

X : Ω \to R,

$X:\Omega\to\mathbb{R},$

Y : ω \to F_{X} (X (ω))

$Y:\omega\to F_X(X(\omega))$

ω \in Ω

$\omega\in\Omega$

F_{Y} .

$F_Y.$

X

$X$

F_{X} (X)

$F_X(X)$

F_{Y}

$F_Y$

X

$X$

— whuber

Ini sebenarnya bukan masalah teori ukuran: untuk memahaminya, Anda dapat dengan aman mengabaikan semua referensi tentang "kemampuan mengukur." Anda mungkin mendapat manfaat dari mempelajari teori himpunan kecil di awal karir pascasarjana Anda: di situlah kebanyakan orang mempelajari apa arti terminologi dan notasi matematika yang mendasar (dan ada di mana-mana), jadi sebaiknya Anda tidak menunda mempelajarinya.

— whuber

Mungkin sebuah kata mengapa seseorang harus melakukan hal gila seperti ini: memasukkan RV ke dalam kepadatannya sendiri !!?! Satu contoh: katakanlah Anda ingin memperkirakan kerapatan X maka Anda bisa mengukur seberapa baik Anda dengan mengintegrasikan lebih dari tetapi ini "tidak adil": Anda tidak akan pernah mencapai perkiraan yang baik ketika Anda tidak memiliki banyak contoh data (Yaitu kepadatan sebenarnya kecil). Oleh karena itu, evaluasi "adil" akan mempertimbangkan istilah dengan kepadatan yang sebenarnya. Ini kurang lebih efek memasukkan RV ke dalam kepadatan mereka sendiri ...

f (x) - f_{X} (x)

$f(x)-f_X(x)$

— Fabian Werner

Lihat juga stats.stackexchange.com/questions/324768/…

— Fabian Werner

Jawaban:

Seperti yang Anda katakan, setiap fungsi (terukur) variabel acak sendiri merupakan variabel acak. Lebih mudah menganggap dan sebagai "fungsi lama". Mereka kebetulan memiliki beberapa properti bagus. Misalnya, jika adalah RV eksponensial standar, maka tidak ada yang aneh tentang variabel acak Kebetulan . Fakta bahwa memiliki distribusi Uniform (mengingat bahwa adalah RV terus menerus) dapat dilihat untuk kasus umum dengan menurunkan CDF dari . $f(x)$ $F(x)$ $X$

Y = 1 - e^{- X}

$Y = 1 - e^{-X}$

Y = F_{X} (X)

$Y=F_X(X)$

Y

$Y$

X

$X$

Y

$Y$

\begin{aligned} F_{Y} (y) & = P (Y \leq y) \\ = P (F_{X} (X) \leq y) \\ = P (X \leq F_{X}^{- 1} (y)) \\ = F_{X} (F_{X}^{- 1} (y)) \\ = y \end{aligned}

$\begin{align*} F_Y(y) &= P(Y \leq y) \\ &= P(F_X(X) \leq y) \\ &= P(X \leq F^{-1}_X(y)) \\ &= F_X(F^{-1}_X(y)) \\ &= y \end{align*}$

Yang jelas merupakan CDF dari variabel acak . Catatan: Versi bukti ini mengasumsikan bahwa benar-benar meningkat dan kontinu, tetapi tidak terlalu sulit untuk menunjukkan versi yang lebih umum. $U(0,1)$ $F_X(x)$

— Knrumsey
sumber

Kesimpulan Anda salah untuk sebagian besar peningkatan : Anda mengasumsikan adalah identitas - tetapi itu tidak selalu terjadi.

F_{X}

$F_X$

F_{X} \circ F_{X}^{- 1}

$F_X\circ F_X^{-1}$

— Whuber

Ya terima kasih. Variabel acak jelas harus kontinu. Apakah saya kehilangan sesuatu sekarang?

X

$X$

— Knrumsey

F_{X}

$F_X$ tidak perlu bijective. Ambil contoh, kasus di mana itu sendiri memiliki distribusi yang seragam! Penutupan gambar harus seluruh interval Itu pada dasarnya definisi dari distribusi berkelanjutan.

X

$X$

F_{X}

$F_X$

[0, 1] .

$[0,1].$

— whuber

Sebuah transformasi dari variabel acak dengan fungsi terukur adalah variabel lain random yang distribusi diberikan oleh probabilitas inverse transformasi untuk semua set sehingga dapat diukur di bawah distribusi . $X$ $T:\mathcal{X}\longrightarrow\mathcal{Y}$ $Y=T(X)$

P (Y \in A) = P (X \in {x; T (x) \in A}) \overset{def}{=} P (X \in T^{- 1} (A))

$\mathbb{P}(Y\in A) = \mathbb{P}(X\in\{x;\,T(x)\in A\})\stackrel{\text{def}}{=} \mathbb{P}(X\in T^{-1}(A))$

A

$A$

{x; T (x) \in A}

$\{x;\,T(x)\in A\}$

X

$X$

Properti ini berlaku untuk kasus khusus ketika adalah cdf dari variabel acak : adalah variabel acak baru yang mengambil realisasinya dalam . Seperti yang terjadi, didistribusikan sebagai Uniform ketika kontinu. (Jika terputus-putus, kisaran tidak lagi . Yang selalu terjadi adalah ketika adalah Seragam , maka memiliki distribusi yang sama dengan , di mana $F_X:\mathcal{X}\longrightarrow[0,1]$ $X$ $Y=F_X(X)$ $[0,1]$ $Y$ $\mathcal{U}([0,1])$ $F_X$ $F_X$ $Y=F_X(X)$ $[0,1]$ $U$ $\mathcal{U}([0,1])$ $F_X^{-}(U)$ $X$ $F_X^{-}$ menunjukkan kebalikan umum dari . Yang merupakan cara formal untuk (a) memahami variabel acak sebagai transformasi terukur dari fundamental sejak adalah variabel acak dengan cdf dan (b ) menghasilkan variabel acak dari distribusi yang diberikan dengan cdf .) $F_X$ $\omega\in\Omega$ $X(\omega)=F_X^{-}(\omega)$ $F_X$ $F_X$

Untuk memahami paradoks , ambil representasi jika adalah ukuran yang mendominasi dan kepadatan yang sesuai. Maka adalah variabel acak karena batas atas dari integral adalah acak. (Ini adalah satu-satunya bagian acak dari ekspresi.) Kontradiksi yang tampak dalam disebabkan oleh kebingungan dalam notasi. Agar dapat didefinisikan dengan benar, seseorang membutuhkan dua versi independen dari variabel acak , dan $\mathbb{P}(X\le X)$

F_{X} (x) = P (X \leq x) = \int_{0}^{x} d F_{X} (x) = \int_{0}^{x} f_{X} (x) d λ (x)

$F_X(x)=\mathbb{P}(X\le x)=\int_0^x \text{d}F_X(x) = \int_0^x f_X(x)\,\text{d}\lambda(x)$

d λ

$\text{d}\lambda$

f_{X}

$f_X$

F_{X} (X) = \int_{0}^{X} d F_{X} (x) = \int_{0}^{X} f_{X} (x) d λ (x)

$F_X(X)=\int_0^X \text{d}F_X(x) = \int_0^X f_X(x)\,\text{d}\lambda(x)$

P (X \leq X)

$\mathbb{P}(X\le X)$

X

$X$

X_{1}

$X_1$

X_{2}

$X_2$ , dalam hal ini variabel acak didefinisikan oleh probabilitas yang dihitung untuk distribusi .

F_{X} (X_{1})

$F_X(X_1)$

F_{X} (X_{1}) = P^{X_{2}} (X_{2} \leq X_{1})

$F_X(X_1)=\mathbb{P}^{X_2}(X_2\le X_1)$

X_{2}

$X_2$

Komentar yang sama berlaku untuk transformasi oleh densitas (pdf), , yang merupakan variabel acak baru, kecuali bahwa ia tidak memiliki distribusi tetap ketika bervariasi. Meskipun demikian berguna untuk keperluan statistik ketika mempertimbangkan misalnya rasio kemungkinan yang 2 x logaritma kira-kira variabel acak bawah beberapa kondisi. $f_X(X)$ $f_X$ $f_X(X|\hat{\theta}(X))/f_X(X|\theta_0)$ $\chi^2$

Dan hal yang sama berlaku untuk fungsi skor yang merupakan variabel acak sehingga harapannya nol ketika diambil pada nilai sebenarnya dari parameter , yaitu,

\frac{\partial \log f_{X} (X | θ)}{\partial θ}

$\dfrac{\partial \log f_X(X|\theta)}{\partial \theta}$

θ

$\theta$

E_{θ_{0}} [\frac{\partial \log f_{X} (X | θ_{0})}{\partial θ}] = \int \frac{\partial \log f_{X} (x | θ_{0})}{\partial θ} f_{X} (x | θ_{0}) d λ (x) = 0

$\mathbb{E}_{\theta_0}\left[ \dfrac{\partial \log f_X(X|\theta_0)}{\partial \theta}\right]=\int \dfrac{\partial \log f_X(x|\theta_0)}{\partial \theta}f_X(x|\theta_0)\,\text{d}\lambda(x)=0$

[Jawab diketik sementara @whuber dan @knrumsey mengetik jawaban masing-masing!]

— Xi'an
sumber

F_{X} (X_{1}) = P (X_{2} \leq X_{1})

$F_X(X_1)=P(X_2 \leq X_1)$

F_{X}

$F_X$

X

$X$

F_{X} (X)

$F_X(X)$

Ya, saya setuju bahwa mereka bukan hal yang sama. Dalam contoh pertama itu bukan rv, sedangkan dalam kasus kedua itu adalah rv Apakah saya benar?

— mai

X

$X$

F_{X} (X)

$F_X(X)$

θ

$\theta$

θ

$\theta$

θ

$\theta$