Bagaimana Anda menjelaskan Moment Generating Function (MGF) dalam istilah awam?

Apa itu Moment Generating Function (MGF)?

Bisakah Anda menjelaskannya dalam istilah awam dan bersama dengan contoh sederhana & mudah?

Tolong, batasi penggunaan notasi matematika formal sejauh mungkin.

moments intuition mgf

— pengguna366312
sumber

Anda ingin contoh sederhana, mudah ... tetapi tanpa notasi matematika? Saya tidak yakin hal seperti itu akan sangat mudah dilakukan - setidaknya tanpa risiko memberikan kesan menyesatkan tentang apa yang Anda hadapi. Saya kira kita bisa memberikan mgf dari variabel acak degenerasi yang selalu tanpa perlu banyak cara notasi matematika, tetapi itu akan menjadi tidak mencerahkan jika Anda benar-benar ingin memahami mgfs.

0

$0$

— Glen_b -Reinstate Monica

Saya tidak yakin apakah ada cara intuitif untuk memahaminya, Anda mungkin menganggapnya sebagai cara "menyandikan" distribusi (setidaknya ketika itu ada, ide ini bekerja sedikit lebih baik dengan fungsi karakteristik).

— dsaxton

Fungsi menghasilkan momen - ketika ada - adalah cara untuk menyandikan semua momen non-negatif-integer dari variabel acak ke dalam fungsi, dan dari mana mereka dapat diekstraksi lagi; mgfs dapat digunakan untuk melakukan perhitungan tertentu yang terkadang tidak begitu mudah dilakukan dengan cara lain. Saya tidak berharap itu banyak membantu.

— Glen_b -Reinstate Monica

Saya yakin Anda telah melihat jawaban Joe Blitztein untuk pertanyaan yang sama tentang Quora

— Antoni Parellada

Jawaban:

Mari kita asumsikan bahwa intuisi bebas persamaan tidak mungkin, dan masih bersikeras untuk menurunkan matematika sampai ke tingkat yang paling penting untuk mendapatkan gambaran tentang apa yang terjadi: kita sedang berusaha mendapatkan momen statistik , yang, setelah referensi wajib fisika , kami mendefinisikan sebagai nilai yang diharapkan dari kekuatan variabel acak. Untuk variabel acak kontinu, momen -th mentah adalah dengan LOTUS : $k$

\begin{aligned} (1) & E [X^{k}] & = \int_{- \infty}^{\infty} X^{k} pdf d x \end{aligned}

$\begin{align}\large \color{red}{\mathbb{E}\left[{X^k}\right]} &= \displaystyle\int_{-\infty}^{\infty}\color{blue}{X^k}\,\,\color{green}{\text{pdf}}\,\,\,dx\tag{1}\end{align}$

The fungsi pembangkit momen , adalah cara untuk berjalan di sekitar terpisahkan ini (Eq.1) oleh, sebaliknya, melaksanakan:

M_{X} (t) := E [e^{t X}],

$M_X(t):=\mathbb E\big[e^{tX}\big],$

\begin{aligned} (2) & E [e^{t X}] & = \int_{- \infty}^{\infty} e^{t X} pdf d x \end{aligned}

$\begin{align} \large \color{blue}{\mathbb{E}\left[e^{\,tX}\right]}&=\displaystyle \int_{-\infty}^{\infty}\color{blue}{e^{tX}}\,\color{green}{\text{pdf}}\, dx\tag{2}\end{align}$

Mengapa? Karena lebih mudah dan ada properti fantastis dari MGF yang dapat dilihat dengan memperluas rangkaian Maclaurin dari $\color{blue}{e^{\,tX}}$

e^{t X} = 1 + \frac{X}{1!} t + \frac{X^{2}}{2!} t^{2} + \frac{X^{3}}{3!} t^{3} + \dots

$e^{tX}=1+\frac{ X }{1!}\, t +\frac{ X^{2} }{2!}t^{2} +\frac{ X^{3} }{3!} t^{3} +\cdots$

Mengambil harapan dari kedua sisi seri kekuatan ini:

\begin{aligned} M_{X} (t) & = E [e^{t X}] \\ (3) & = 1 + \frac{E [X]}{1!} t + \frac{E [X^{2}]}{2!} t^{2} + \frac{E [X^{3}]}{3!} t^{3} + \dots \end{aligned}

$\begin{align} M_X(t) &= \color{blue}{\mathbb{E}\left[e^{\,tX}\right]} \\[1.5ex] &=1 + \frac{\color{red}{\mathbb{E} \left[X\right]}}{1!} \, t \, + \frac{\color{red}{\mathbb{E} \left[X^2\right]}}{2!} \, t^2 \, + \frac{\color{red}{\mathbb{E} \left[X^3\right]}}{3!} \, t^3 \, + \cdots\tag{3} \end{align}$

momen tampak "bertengger" pada "jemuran" polinomial ini, siap untuk dimusnahkan hanya dengan membedakan waktu dan mengevaluasi nol begitu kita melewati integrasi yang lebih mudah (misalnya (2)) hanya sekali untuk semua momen! Fakta bahwa itu adalah integrasi yang lebih mudah paling terlihat ketika pdf adalah eksponensial. $k$

Untuk memulihkan momen ke- : $k$

M_{X}^{(k)} (0) = \frac{d^{k}}{d t^{k}} M_{X} (t) |_{t = 0}

$M_X^{(k)}(0)=\frac{d^k}{dt^k}M_X(t)\Bigr|_{t=0}$

Fakta bahwa pada akhirnya ada kebutuhan untuk membedakan menjadikannya bukan makan siang gratis - pada akhirnya itu adalah transformasi Laplace dua sisi dari pdf dengan tanda yang berubah dalam eksponen:

L {pdf (x)} (s) = \int_{- \infty}^{\infty} e^{- s x} pdf (x) d x

$\mathcal L \{\text{pdf}(x)\}(s) =\int_{-\infty}^{\infty}e^{-sx}\text{pdf}(x) dx$

sedemikian rupa sehingga

\begin{matrix} (4) & M_{X} (t) = L {pdf (x)} (- s) . \end{matrix}

$M_X(t)=\mathcal L\{\text{pdf}(x)\}(-s)\tag 4.$

Ini, pada dasarnya, memberi kita jalan fisika ke intuisi. Transformasi Laplace bertindak pada dan menguraikannya menjadi momen. The kesamaan dengan transformasi Fourier adalah tak terhindarkan : memetakan sebuah FT fungsi untuk fungsi baru pada baris nyata, dan peta Laplace fungsi untuk fungsi baru pada bidang kompleks. Transformasi Fourier mengekspresikan fungsi atau sinyal sebagai serangkaian frekuensi, sedangkan transformasi Laplace menyelesaikan fungsi menjadi momen - momennya . Bahkan, cara berbeda untuk memperoleh momen adalah melalui transformasi Fourier ( fungsi karakteristik ). Istilah eksponensial dalam transformasi Laplace secara umum adalah dari bentuk with $\color{green}{\text{pdf}}$ $e^{-st}$ $s=\sigma + i\,\omega$ , sesuai dengan eksponensial nyata dan sinusoidal imajiner , dan menghasilkan plot seperti ini :

[ Dari Panduan Ilmuwan dan Insinyur untuk Pemrosesan Sinyal oleh Steven W. Smith ]

Karenanya fungsi menguraikan entah bagaimana menjadi "frekuensi konstituennya" ketikaDari eq. (4): $M_X(t)$ $\text{pdf}$ $\sigma=0.$

\begin{aligned} M_{X} (t) & = E [e^{- s X}] \\ = \int_{- \infty}^{\infty} e^{- s x} pdf (x) d x \\ = \int_{- \infty}^{\infty} e^{- (σ + i ω) x} pdf (x) d x \\ = \int_{- \infty}^{\infty} e^{- σ x} e^{- i ω x} pdf (x) d x \end{aligned}

$\begin{align}\require{cancel} M_X(t)&=\mathbb E\big[e^{-sX}\big]\\[2ex] &=\displaystyle \int_{-\infty}^{\infty}{e^{-sx}}\,\text{pdf}(x)\, dx\\[2ex] &=\displaystyle \int_{-\infty}^{\infty}{e^{-(\sigma+i\omega)x}}\,\text{pdf}(x)\, dx\\[2ex] &=\displaystyle \int_{-\infty}^{\infty}\cancel{e^{-\sigma x}}\,\color{red}{e^{-i\omega x}\,\text{pdf}(x)\, dx} \end{align}$

yang meninggalkan kita dengan integral yang tidak tepat dari bagian dari ekspresi berwarna merah, sesuai dengan transformasi Fourier dari pdf.

Secara umum, intuisi kutub transformasi Laplace dari suatu fungsi adalah bahwa mereka memberikan informasi komponen eksponensial (peluruhan) dan frekuensi fungsi (dalam hal ini, pdf).

Menanggapi pertanyaan di bawah komentar tentang beralih dari ke , ini adalah langkah yang sepenuhnya strategis: satu ungkapan tidak mengikuti dari yang lain. Berikut ini sebuah analogi: Kami memiliki mobil sendiri dan kami bebas berkendara ke kota setiap kali kami perlu mengurus beberapa bisnis (baca, mengintegrasikan Persamaan tidak peduli betapa sulitnya untuk setiap momen, momen tunggal) . Sebaliknya, kita bisa melakukan sesuatu yang sama sekali berbeda: kita dapat pergi ke stasiun kereta bawah tanah terdekat (baca, memecahkan Persamaan hanya sekali), dan dari sana menggunakan transportasi umum untuk mencapai setiap tempat kita perlu kunjungan (baca, mendapatkan turunan dari integral dalam Persamaan untuk mengekstraksi mana saja $X^k$ $e^{tx}$ $(1)$ $(2)$ $k$ $(2)$ $k$ -waktu yang kita butuhkan, mengetahui (terima kasih kepada Persamaan ) bahwa semua momen "bersembunyi" di sana dan diisolasi dengan mengevaluasi pada ). $(3)$ $0$

— Antoni Parellada
sumber

Bagaimana cara menggantikan ? (Tiba-tiba?)

E [e^{t X}]

$E[e^{tX}]$

E [X^{k}]

$E[X^k]$

— user366312

Saya berharap orang awam yang mengerti jawaban ini adalah murid-murid saya :)

— Aksakal

Dalam istilah awam, ini adalah cara untuk menyandikan semua karakteristik distribusi probabilitas ke dalam satu kalimat pendek. Sebagai contoh, jika saya tahu bahwa MGF dari distribusi adalah Saya dapat mengetahui rata-rata distribusi ini dengan mengambil istilah pertama ekspansi Taylor : Jika Anda tahu apa yang Anda lakukan, itu jauh lebih cepat daripada mengambil ekspektasi dari fungsi probabilitas.

M (t) = e^{t μ + 1 / 2 σ^{2} t^{2}}

$M(t)=e^{t\mu+1/2\sigma^2t^2}$

\frac{d}{d t} M (t) |_{t = 0} = μ + σ^{2} t |_{t = 0} = μ

$\frac d {dt}M(t)|_{t=0}=\mu+\sigma^2t|_{t=0}=\mu$

Selain itu, karena MGF ini menyandikan segala sesuatu tentang distribusi, jika Anda tahu cara memanipulasi fungsi, Anda dapat menerapkan operasi pada semua karakteristik distribusi sekaligus! Kenapa kita tidak selalu menggunakan MGF? Pertama, itu tidak dalam setiap situasi MGF adalah alat yang paling mudah. Kedua, MGF tidak selalu ada.

Di atas orang awam

Misalkan Anda memiliki distribusi normal standar. Anda dapat mengekspresikan semua yang Anda ketahui tentangnya dengan menyatakan PDF-nya:

f (x) = \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

$f(x)=\frac 1 {\sqrt{2\pi}}e^{-x^2/2}$

Anda dapat menghitung momennya seperti mean dan standar deviasi, dan menggunakannya pada variabel yang diubah dan fungsi pada normals acak dll.

Anda dapat menganggap MGF dari distribusi normal sebagai alternatif untuk PDF. Ini berisi jumlah informasi yang sama. Saya sudah menunjukkan cara mendapatkan mean.

Mengapa kita membutuhkan cara alternatif? Seperti yang saya tulis, kadang lebih nyaman. Misalnya, coba hitung varian standar normal dari PDF: Ini tidak terlalu sulit, tetapi jauh lebih mudah untuk melakukannya dengan MGF :

σ^{2} = \int_{- \infty}^{\infty} x^{2} \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2} d x = ?

$\sigma^2=\int_{-\infty}^\infty x^2\frac 1 {\sqrt{2\pi}}e^{-x^2/2} dx=?$

M (t) = e^{t^{2} / 2}

$M(t)=e^{t^2/2}$

σ^{2} = \frac{d^{2}}{d t^{2}} M (t) |_{t = 0} = \frac{d}{d t} t |_{t = 0} = 1

$\sigma^2=\frac {d^2} {dt^2}M(t)|_{t=0}=\frac d {dt} t |_{t=0}=1$

— Aksakal
sumber

Bisakah Anda memperluas "segalanya" yang disandikan tentang distribusi?

— ColorStatistics

Untuk menghargai poin yang dibuat oleh @ColorStatistics, silakan lihat stats.stackexchange.com/questions/25010 .

— whuber

@whuber: Terima kasih, whuber. Saya akan mempelajari referensi itu. Ini adalah topik yang saya ingin mengerti lebih baik.

— ColorStatistics

Bagaimana kami dapat membuktikan bahwa MGF & PDF berisi jumlah informasi yang sama?

— Aerin