Apakah harapan itu sama dengan harapan?

Saya melakukan ML di universitas saya, dan profesor menyebutkan istilah Ekspektasi (E), sementara dia mencoba menjelaskan kepada kami beberapa hal tentang proses Gaussian. Tetapi dari cara dia menjelaskannya, saya mengerti bahwa E sama dengan mean μ. Apakah saya mengerti benar?

Jika sama, apakah Anda tahu mengapa kedua simbol digunakan? Saya juga melihat bahwa E dapat digunakan sebagai fungsi, seperti E ( ), tetapi saya tidak melihat itu untuk μ. $x^2$

Bisakah seseorang membantu saya memahami lebih baik perbedaan di antara keduanya?

machine-learning gaussian-process linear-algebra

— Jim Blum
sumber

Untuk kontinu , mana adalah fungsi kerapatan probabilitas. Jadi itu benar hanya ketika adalah argumennya. Namun bisa juga benar jika kita memiliki , di mana adalah sesuatu selain fungsi identitas.

X

$X$

E [X] = \int_{- \infty}^{\infty} f (x) x d x = μ (x)

$E[X] = \int_{-\infty}^{\infty} f(x)x dx = \mu(x)$

f (x)

$f(x)$

X

$X$

E [g (X)] = E [X] = μ (X)

$E[g(X)] = E[X] = \mu(X)$

g

$g$

— Jase

@Jase ? Mengapa sisi kanan adalah fungsi , yang seharusnya menghilang setelah penggantian batas saat mengevaluasi integral?

μ (x)

$\mu(x)$

x

$x$

— Dilip Sarwate

@DilipSarwate adalah salah ketik. Berarti mengatakan .

μ (x)

$\mu(x)$

μ = μ (X)

$\mu = \mu(X)$

— Jase

John: jika aku jadi kamu, aku akan belajar probabilitas dasar sebelum mengambil kelas Machine Learning / Gaussian Processes. Lihatlah buku ini: math.uiuc.edu/~r-ash/BPT.html

— Zen

Terima kasih banyak kawan atas bantuan Anda! Saya tidak berharap banyak umpan balik. @ Zen Terima kasih banyak atas saran Anda. Saya benar-benar setuju dengan Anda. Saya telah mengambil modul sebagai sarjana pada probabilitas dan statistik, Namun, kami hanya memiliki pengantar sederhana di distribusi, dan probabilitas, dan sayangnya kami tidak melakukannya secara mendalam. Selain itu kami tidak menyebutkan istilah "Harapan". Saya mencoba sekarang, untuk menutup celah saya pada statistik dan probabilitas sendiri.

— Jim Blum

Jawaban:

Nilai Expectation / Expected adalah operator yang dapat diterapkan ke variabel acak. Untuk variabel acak diskrit (seperti binomial) dengan nilai mungkin, ia didefinisikan sebagai . Artinya, itu adalah nilai rata-rata yang mungkin tertimbang dengan probabilitas nilai-nilai tersebut. Variabel acak berkelanjutan dapat dianggap sebagai generalisasi dari ini: . Mean dari variabel acak adalah sinonim untuk ekspektasi. $k$ $\sum_i^k x_i p(x_i)$ $\int x dP$

Distribusi Gaussian (normal) memiliki dua parameter dan . Jika terdistribusi secara normal, maka . Jadi rata-rata variabel terdistribusi Gaussian sama dengan parameter . Ini tidak selalu terjadi. Ambil distribusi binomial, yang memiliki parameter dan . Jika terdistribusi secara biner, maka . $\mu$ $\sigma^2$ $X$ $E(X)=\mu$ $\mu$ $n$ $p$ $X$ $E(X)=np$

Seperti yang Anda lihat, Anda juga dapat menerapkan ekspektasi ke fungsi variabel acak sehingga untuk gaussian Anda dapat menemukan bahwa . $X$ $E(X^2)=\sigma^2+\mu^2$

Halaman Wikipedia tentang nilai yang diharapkan cukup informatif: http://en.wikipedia.org/wiki/Expected_value

— Jeremy Coyle
sumber

"... jadi untuk Gaussian kamu bisa menemukan bahwa " Apakah mutlak diperlukan oleh Gaussian untuk mempertahankan hubungan ini?

X

$X$

E (X^{2}) = σ^{2} + μ^{2}

$E(X^2)=\sigma^2+\mu^2$

X

$X$

— Dilip Sarwate

Hubungan akan selalu berlaku, tetapi saya akan mengharapkan jawaban yang ditulis dalam hal parameter distribusi. Jadi jika saya bertanya kepada seseorang apa untuk didistribusikan Binomial , saya akan mengharapkan jawaban , bukan

E (X^{2}) = V (X) + E (X)^{2}

$E(X^2)=V(X)+E(X)^2$

E (X^{2})

$E(X^2)$

X

$X$

(n, p)

$(n,p)$

n p (1 - p) + (n p)^{2}

$np(1-p)+(np)^2$

σ^{2} + μ^{2}

$\sigma^2+\mu^2$

— Jeremy Coyle

Tetapi jika Anda bertanya apa itu untuk variabel acak binomial dengan mean dan varians , jawabannya adalah . Memang variabel acak binomial biasanya diparameterisasi menggunakan dan , tapi lalu apa? Dari mean dan varians kita dapat dengan mudah menemukan dan

E (X^{2})

$E(X^2)$

μ

$\mu$

σ^{2}

$\sigma^2$

σ^{2} + μ^{2}

$\sigma^2+\mu^2$

n

$n$

p

$p$

p = 1 - \frac{variance}{mean}

$p = 1 - \frac{\text{variance}}{\text{mean}}$

n = \frac{mean}{p} = \frac{{mean}^{2}}{mean - variance} .

$n = \frac{\text{mean}}{p} = \frac{\text{mean}^2}{\text{mean}-\text{variance}}.$

— Dilip Sarwate

Inti dari contoh ini adalah membuat perbedaan antara parameter distribusi dan momen distribusi. Ya adalah mungkin untuk membuat ulang distribusi berdasarkan waktu mereka, tetapi karena OP bertanya tentang hubungan antara dan , tampaknya penting untuk terus membuat perbedaan itu. Apakah ada alasan Anda memilih untuk bertele-tele tentang hal ini?

E (X)

$E(X)$

μ

$\mu$

— Jeremy Coyle

Jeremy banyak terima kasih! Jawaban yang sangat bagus. kamu sangat membantu!

— Jim Blum

Ekspektasi dengan notasi operator E () (berbagai preferensi pada font yang baik, romawi atau miring, ditemukan) tidak menyiratkan mengambil mean dari argumennya, tetapi dalam konteks matematika atau teoritis. Istilah ini kembali ke Christiaan Huygens di abad ke-17. Idenya eksplisit dalam banyak teori probabilitas dan statistik matematika dan, misalnya, buku Peter Whittle Probabilitas melalui ekspektasi memperjelas bagaimana itu dapat dibuat lebih sentral.

Pada dasarnya hanya masalah konvensi yang berarti (rata-rata) juga sering dinyatakan agak berbeda, terutama dengan simbol tunggal, dan terutama ketika sarana tersebut harus dihitung dari data. Namun, Whittle dalam buku yang baru saja dikutip menggunakan notasi A () untuk rata-rata dan sudut tanda kurung di sekitar variabel atau ekspresi yang akan dirata-rata adalah umum dalam ilmu fisika.

— Nick Cox
sumber