Arti dari notasi probabilitas dan

27

Apa perbedaan makna antara notasi dan yang umum digunakan di banyak buku dan makalah? $P(z;d,w)$ $P(z|d,w)$

probability notation

— Pelajar
sumber

13

f (x; θ) sama dengan f (x | θ), hanya berarti θ adalah parameter tetap dan fungsi f adalah fungsi x. f (x, Θ), OTOH, adalah elemen keluarga (set) fungsi, di mana elemen diindeks oleh Θ. Perbedaan yang halus, mungkin, tetapi yang penting, esp. ketika tiba saatnya untuk memperkirakan parameter yang tidak diketahui θ berdasarkan data yang diketahui x; pada saat itu, θ bervariasi dan x diperbaiki, menghasilkan "fungsi kemungkinan". Penggunaan "|" lebih umum di kalangan ahli statistik, ";" di antara ahli matematika.

— jbowman

Ya jbowman benar. Kami terkadang menyebutnya kepadatan X yang diberikan Θ.

— Michael R. Chernick

@jbowman mengapa tidak memposting itu sebagai jawaban? Satu-satunya pertanyaan saya adalah - mengapa mereka menggunakan keduanya, tetapi saya berasumsi bahwa itu ada hubungannya dengan konteks ("|" digunakan dengan "P" dan ";" dengan " ").

f

$f$

— Abe

Pemikiran yang bagus, Abe; mungkin itu. lebih umum, saya kira.

f

$f$

— jbowman

12

Saya percaya bahwa asal mula dari ini adalah paradigma kemungkinan (meskipun saya belum memeriksa kebenaran historis yang sebenarnya di bawah ini, ini adalah cara yang masuk akal untuk memahami bagaimana hal itu terjadi).

Katakanlah dalam pengaturan regresi, Anda akan memiliki distribusi: p (Y | x, beta) Yang berarti: distribusi Y jika Anda tahu (tergantung pada) nilai x dan beta.

Jika Anda ingin memperkirakan beta, Anda ingin memaksimalkan kemungkinan: L (beta; y, x) = p (Y | x, beta) Pada dasarnya, Anda sekarang melihat ekspresi p (Y | x, beta) sebagai fungsi beta, tetapi selain itu, tidak ada perbedaan (untuk ekspresi matematika yang benar yang dapat Anda peroleh dengan benar, ini adalah suatu keharusan --- meskipun dalam praktiknya tidak ada yang mengganggu).

Kemudian, dalam pengaturan bayesian, perbedaan antara parameter dan variabel lainnya segera memudar, sehingga Anda mulai menggunakan kedua notasi secara intermixedly.

Jadi, pada intinya: tidak ada perbedaan nyata: keduanya menunjukkan distribusi kondisional dari benda di sebelah kiri, bersyarat pada benda di sebelah kanan.

— Nick Sabbe
sumber

23

adalah kerapatan variabel acak pada titik , dengan menjadi parameter distribusi. adalah kerapatan gabungan dan pada titik dan hanya masuk akal jika adalah variabel acak. adalah distribusi bersyarat dari diberikan , dan sekali lagi, hanya masuk akal jika $f(x;\theta)$ $X$ $x$ $\theta$ $f(x,\theta)$ $X$ $\Theta$ $(x,\theta)$ $\Theta$ $f(x|\theta)$ $X$ $\Theta$ adalah variabel acak. Ini akan menjadi lebih jelas ketika Anda masuk lebih jauh ke dalam buku dan melihat analisis Bayesian. $\Theta$

— PeterR
sumber

Uhhhh ...

adalah distribusi bersyarat dari

diberikan

masuk akal bahkan jika

bukan variabel acak. Ini cukup banyak notasi standar dalam statistik klasik, di mana

bukan variabel acak.

f (x | θ)

$f(x|\theta)$

x

$x$

θ

$\theta$

θ

$\theta$

θ

$\theta$

— jbowman

Uhhhh .... jika Anda mengartikannya berarti bahwa P [Θ = θ] = 1 (kiri Θ adalah variabel acak, kanan θ adalah konstan) maka saya setuju. Kalau tidak, saya tidak ... untuk apa arti P [Θ = θ] dalam penyebut definisi distribusi bersyarat?

— PeterR

Penyebut? Saya dapat menulis

mana

adalah distribusi Normal tanpa mengacu pada Peraturan Bayes.

dan

diperbaiki. Yang lain juga, misalnya, ll.mit.edu/mission/communications/ist/publications/… .

x \sim f (x | μ, σ)

$x \sim f(x | \mu, \sigma)$

f

$f$

μ

$\mu$

σ

$\sigma$

— jbowman

jbowman, jadi apa definisi dari f Anda (x | μ, σ) sebagai kepadatan bersyarat ketika μ dan σ adalah bilangan tetap (yaitu bukan variabel acak)?

— PeterR

1

Kata "kondisional", yang terkait dengan notasi f (X | Y), didefinisikan sebagai "kondisional pada beberapa peristiwa acak yang terjadi". Jika Anda menggunakannya untuk mengartikan sesuatu yang lain, seperti baru saja "diberikan", seperti pada "f (x) diberikan (nilai spesifik) μ dan σ", maka itulah yang notasi f (x; μ, σ) adalah untuk. Karena OP bertanya tentang apa arti notasi, kita harus tepat tentang notasi dalam jawaban.

— PeterR

18

$f(x;\theta)$ sama dengan $f(x|\theta)$ , hanya berarti $\theta$ adalah parameter tetap dan fungsi $f$ adalah fungsi $x$ . $f(x,\Theta)$ , OTOH, adalah elemen keluarga (atau set) fungsi, di mana elemen diindeks oleh $\Theta$ . Perbedaan yang halus, mungkin, tetapi yang penting, esp. ketika tiba saatnya untuk memperkirakan parameter yang tidak diketahui $\theta$ berdasarkan data yang diketahui $x$ ; pada saat itu, $\theta$ bervariasi dan $x$ diperbaiki, menghasilkan "fungsi kemungkinan". Penggunaan $\mid$ lebih umum di kalangan ahli statistik, sementara $;$ di antara ahli matematika.

— Jbowman
sumber

1

Bagaimana

diucapkan secara verbal? Apakah Anda mengatakan "f of x given θ"?

f (x; θ)

$f(x;θ)$

— stackoverflowuser2010

@ stackoverflowuser2010 - ya, persis begitu.

— jbowman

2

Saya menemukan dalam beberapa video Coursera bahwa profesor Stanford Andrew Ng menyatakan titik koma sebagai "parameterized by." Lihat: class.coursera.org/ml-005/lecture/34 . Jadi contoh akan diucapkan sebagai "f of x parameterized by theta".

— stackoverflowuser2010

5

Mengatakan "diberikan" atau "kondisional" sangat berbeda (secara umum) dari "parameterisasi." Aku benci jika seseorang melihat ini dan berpikir keduanya setara. Mengatakan "parameter" hanya tepat ketika jumlah yang dikondisikan adalah parameter yang mengindeks pdf dari variabel dalam istilah pertama. Untuk dua variabel (misalnya, f (x; y)), menggunakan istilah itu akan salah.

— ATJ

2

@ MikeWilliamson - Tentu, pilih notasi di mana Anda tahu apa artinya semuanya dan tetap dengan itu! Dengan begitu ketika Anda kembali ke sesuatu yang Anda lakukan sebelumnya, seperti 4 jam sebelumnya dalam pengalaman saya, Anda tidak perlu mencari tahu apa yang Anda maksudkan ketika Anda menggunakan "|" itu. Saya setuju, itu menjengkelkan, tetapi setelah beberapa saat Anda hanya mengamati penggunaan pertama notasi dan mengingatnya untuk sisa kertas / buku; perbedaan biasanya bukan yang penting.

— jbowman

9

Meskipun tidak selalu seperti ini, hari ini umumnya digunakan ketika bukan variabel acak (yang tidak mengatakan bahwa mereka dikenal, tentu saja). menunjukkan pengkondisian pada nilai . Pengkondisian adalah operasi pada variabel acak dan dengan demikian menggunakan notasi ini ketika bukan variabel acak yang membingungkan (dan tragisnya umum). $P(z; d, w)$ $d,w$ $P(z | d, w)$ $d,w$ $d, w$

Seperti yang ditunjukkan oleh @Nick Sabbe adalah notasi umum untuk distribusi sampling dari data yang diamati . Beberapa frequentist akan menggunakan notasi ini tetapi bersikeras bahwa bukan variabel acak, yang merupakan IMO penyalahgunaan. Tetapi mereka tidak memiliki monopoli di sana; Saya telah melihat orang Bayesian melakukannya juga, memasang hiperparameter tetap pada akhir kondisi. $p(y|X, \Theta)$ $y$ $\Theta$

— JMS
sumber

2

Kembali paragraf ke-2 Anda, perlu ditunjukkan bahwa dalam situasi statistik yang khas (katakanlah, pas model regresi),

juga tidak dianggap sebagai variabel acak, tetapi seperangkat konstanta yang diketahui.

X

$X$

— gung - Reinstate Monica