Entri Wikipedia tentang kemungkinan nampak ambigu


26

Saya punya pertanyaan sederhana tentang "probabilitas bersyarat" dan "Kemungkinan". (Saya sudah mensurvei pertanyaan ini di sini tetapi tidak berhasil.)

Itu dimulai dari halaman Wikipedia tentang kemungkinan . Mereka mengatakan ini:

The kemungkinan dari seperangkat nilai-nilai parameter, , mengingat hasil , sama dengan probabilitas yang hasil yang diamati diberikan nilai-nilai parameter, yaituθx

L(θx)=P(xθ)

Besar! Jadi dalam bahasa Inggris, saya membaca ini sebagai: "Kemungkinan parameter sama dengan theta, mengingat data X = x, (sisi kiri), sama dengan probabilitas data X sama dengan x, mengingat bahwa parameter sama dengan theta ". ( Bold adalah milikku untuk penekanan ).

Namun, tidak kurang dari 3 baris kemudian pada halaman yang sama, entri Wikipedia kemudian mengatakan:

Biarkan menjadi variabel acak dengan distribusi probabilitas diskrit tergantung pada parameter . Lalu fungsinyaXpθ

L(θx)=pθ(x)=Pθ(X=x),

dianggap sebagai fungsi , disebut fungsi kemungkinan (dari , diberikan hasil dari variabel acak ). Kadang-kadang probabilitas dari nilai dari untuk nilai parameter ditulis sebagai ; sering ditulis sebagai untuk menekankan bahwa ini berbeda dari yang bukan probabilitas bersyarat , karena adalah parameter dan bukan variabel acak.θθxXxXθP(X=xθ)P(X=x;θ)L(θx)θ

( Bold adalah milikku untuk penekanan ). Jadi, dalam kutipan pertama, kita secara harfiah diberitahu tentang probabilitas kondisional , tetapi segera setelah itu, kita diberitahu bahwa ini sebenarnya BUKAN probabilitas kondisional, dan seharusnya ditulis sebagai ?P(xθ)P(X=x;θ)

Jadi, yang mana itu? Apakah kemungkinan itu benar-benar berkonotasi probabilitas bersyarat ala kutipan pertama? Atau apakah itu berkonotasi probabilitas sederhana ala kutipan kedua?

EDIT:

Berdasarkan semua jawaban yang bermanfaat dan wawasan yang saya terima sejauh ini, saya telah merangkum pertanyaan saya - dan pemahaman saya sejauh ini:

  • Dalam bahasa Inggris , kami mengatakan bahwa: "Kemungkinan adalah fungsi dari parameter, MEMBERIKAN data yang diamati." Dalam matematika , kita menuliskannya sebagai: .L(Θ=θX=x)
  • Kemungkinannya bukan probabilitas.
  • Kemungkinannya bukan distribusi probabilitas.
  • Kemungkinannya bukan massa probabilitas.
  • Kemungkinannya adalah, dalam bahasa Inggris : "Sebuah produk dari distribusi probabilitas, (kasus kontinu), atau produk dari probabilitas massa, (kasus diskrit), di mana , dan parameter oleh . " Dalam matematika , kita kemudian menuliskannya sebagai berikut: (kasus kontinu, di mana adalah PDF), dan sebagai (kasus diskrit, di mana adalah massa probabilitas). Yang bisa dibawa kemari adalah tidak ada titik di sini sama sekaliΘ = θ L ( Θ = θ X = x ) = f ( X = x ; Θ = θ ) f L ( Θ = θ X=xΘ=θL(Θ=θX=x)=f(X=x;Θ=θ)f
    PL(Θ=θX=x)=P(X=x;Θ=θ)P adalah probabilitas bersyarat yang ikut bermain sama sekali.
  • Dalam teorema Bayes, kita memiliki: . Bahasa sehari-hari, kita diberitahu bahwa " adalah kemungkinan", namun, ini tidak benar , karena mungkin merupakan variabel acak aktual. Oleh karena itu, apa yang dapat kita katakan dengan benar adalah bahwa istilah ini hanyalah "mirip" dengan suatu kemungkinan. (?) [Tentang ini saya tidak yakin.]P(Θ=θX=x)=P(X=xΘ=θ) P(Θ=θ)P(X=x)P(X=xΘ=θ)ΘP(X=xΘ=θ)

EDIT II:

Berdasarkan jawaban @amoebas, saya telah menarik komentar terakhirnya. Saya pikir itu cukup jelas, dan saya pikir itu membersihkan pertengkaran utama yang saya alami. (Komentar pada gambar).

masukkan deskripsi gambar di sini

EDIT III:

Saya menyampaikan komentar @amoebas ke kasus Bayesian sekarang juga:

masukkan deskripsi gambar di sini


Anda sudah mendapatkan dua jawaban yang bagus tetapi periksa juga stats.stackexchange.com/q/112451/35989
Tim

@Tim Excellent tautan terima kasih! Sayangnya saya masih belum jelas mengenai pertanyaan-pertanyaan spesifik yang saya miliki vis-a-vis Kemungkinan dan probabilitas bersyarat (?) Yang tampaknya muncul. Tentang ini, saya masih belum jelas. : - /
Creatron

2
"Mengingat itu" tidak selalu berarti probabilitas bersyarat. Terkadang frasa ini hanyalah upaya untuk menunjukkan simbol apa yang dimaksudkan untuk diperbaiki dalam perhitungan atau secara konseptual.
Whuber

2
Beberapa orang memang menggunakan konvensi tipografi semacam itu dengan titik koma. Ada banyak, banyak konvensi: subskrip, superskrip, dll. Anda sering harus mencari tahu apa arti seseorang dari konteks atau deskripsi teks mereka tentang apa yang mereka lakukan.
Whuber

4
Ketika adalah varian acak (yaitu, nilai yang dianggap muncul dari variabel acak ), tidak ada dalam definisi perubahan kemungkinan. Itu masih kemungkinan. Logikanya, ini tidak berbeda dengan mengatakan bahwa kupu-kupu biru masih kupu-kupu. Secara teknis, ini menimbulkan masalah tentang distribusi gabungan dan . Jelaslah bahwa distribusi bersama ini harus didefinisikan dengan baik dan menikmati "kondisi keteraturan" tertentu sebelum Anda dapat mengidentifikasi kemungkinan dengan probabilitas bersyarat. θΘΘx
whuber

Jawaban:


18

Saya pikir ini sebagian besar tidak perlu membelah rambut.

Probabilitas kondisional dari diberikan didefinisikan untuk dua variabel acak dan mengambil nilai dan . Tetapi kita juga dapat berbicara tentang probabilitas dari diberikan mana bukan variabel acak tetapi parameter.x y X Y x y P ( x θ ) x θ θP(xy)P(X=xY=y)xyXYxyP(xθ)xθθ

Perhatikan bahwa dalam kedua kasus istilah yang sama "diberikan" dan notasi yang sama dapat digunakan. Tidak perlu menemukan notasi yang berbeda. Selain itu, apa yang disebut "parameter" dan apa yang disebut "variabel acak" dapat bergantung pada filosofi Anda, tetapi matematika tidak berubah.P()

Kutipan pertama dari Wikipedia menyatakan bahwa menurut definisi. Di sini diasumsikan bahwa adalah parameter. Kutipan kedua mengatakan bahwa adalah tidak probabilitas bersyarat. Ini berarti bahwa itu bukan probabilitas bersyarat dari diberikan ; dan memang tidak bisa, karena diasumsikan sebagai parameter di sini.θ L ( θ x ) θ x θL(θx)=P(xθ)θL(θx)θxθ

Dalam konteks teorema Bayes baik dan adalah variabel acak. Tetapi kita masih dapat memanggil "kemungkinan" (dari ), dan sekarang ini juga merupakan probabilitas kondisional yang bonafid (dari ). Terminologi ini merupakan standar dalam statistik Bayesian. Tidak ada yang mengatakan itu adalah sesuatu yang "mirip" dengan kemungkinannya; orang hanya menyebutnya kemungkinan.abP(ba)ab

P(ab)=P(ba)P(a)P(b),
abP(ba)ab

Catatan 1: Dalam paragraf terakhir, jelas merupakan probabilitas bersyarat dari . Sebagai kemungkinan dilihat sebagai fungsi dari ; tetapi tidak distribusi probabilitas (atau probabilitas bersyarat) dari ! Integralnya atas tidak harus sama dengan . (Padahal integral dari tidak.)b L ( a | b ) a a a 1 bP(ba)bL(ab)aaa1b

Catatan 2: Kadang-kadang kemungkinan didefinisikan hingga konstanta proporsional sewenang-wenang, seperti yang ditekankan oleh @MichaelLew (karena sebagian besar waktu orang tertarik pada rasio kemungkinan ). Ini bisa bermanfaat, tetapi tidak selalu dilakukan dan tidak penting.


Lihat juga Apa perbedaan antara "kemungkinan" dan "probabilitas"? dan khususnya jawaban @ whuber di sana.

Saya sepenuhnya setuju dengan jawaban @ Tim di utas ini juga (+1).


1
Jadi kemungkinan, dapatkah sebenarnya, sama dengan, probabilitas bersyarat (sesuai paragraf terakhir), benar? Inilah yang ingin saya selesaikan. Sebagai contoh dalam salah satu jawaban pertama, kita memiliki: " Pertama, kemungkinan tidak dapat secara umum sama dengan probabilitas data yang diberi nilai parameter, karena kemungkinan hanya didefinisikan hingga konstanta proporsionalitas . Fisher secara eksplisit tentang itu ketika ia kemungkinan formal pertama (Fisher, 1922). "Inilah yang saya coba selesaikan. Apakah kemungkinan - bisakah kemungkinan - pernah sama dengan probabilitas bersyarat?
Creatron

@Creatron Saya menambahkan dua Catatan untuk jawaban saya. Apakah mereka memperjelasnya?
Amoeba berkata Reinstate Monica

1
Sehubungan dengan Note1: Karena adalah distribusi probabilitas bersyarat, dan karena L ( a | b ) tidak dapat menjadi distribusi probabilitas, maka menurut saya cara yang paling 'benar' kita dapat menulis persamaan untuk kemungkinan dalam konteks ini adalah: L ( a | b ) P ( b | a ) , dan bukan sebagai, L ( a | b ) = P ( b | a )P(b|a) L(a|b) L(a|b)P(b|a)L(a|b)=P(b|a). (Saya tahu bahwa dalam pengoptimalan hal ini tidak membuat perbedaan, tetapi saya mencoba untuk menentukan kebenaran dari kemungkinan yang ada di sini). Apakah pemahaman saya benar? Terima kasih atas kesabaran Anda.
Creatron

1
@Creatron Saya pikir Anda membingungkan beberapa masalah berbeda di sini. Saya berasumsi bahwa Anda berbicara tentang pengaturan teorema Bayes (yang mengacu pada Catatan 1 saya), di mana dan b adalah peristiwa acak. Oke, jadi P ( b | a ) adalah distribusi probabilitas bersyarat dari b yang diberikan a . Tetapi L ( a | b ) seharusnya dilihat sebagai fungsi dari a , bukan dari b ! Dan itu bukan distribusi probabilitas aabP(b|a)baL(a|b)abakarena itu tidak berjumlah satu. Ini tidak ada hubungannya dengan masalah atau proporsionalitas (yang merupakan Catatan saya 2). Saya pikir kita bisa menulis . L(a|b)=P(b|a)
Amoeba berkata Reinstate Monica

1
Amoeba, terima kasih !! Anda telah berperan dalam un-knotting konsep-konsep itu untuk saya, terima kasih banyak !! :) Saya hanya "memperluas" diagram ke kasus Bayesian, dan akan menghargai tanggapan Anda untuk memastikan bahwa saya telah memahaminya dengan benar juga. Saya juga menerima jawaban Anda. Sekali lagi, sangat ramah!
Creatron

10

Anda sudah mendapat dua jawaban yang bagus, tetapi karena masih belum jelas bagi Anda, izinkan saya memberikan satu. Kemungkinan didefinisikan sebagai

L(θ|X)=P(X|θ)=ifθ(xi)

sehingga kita memiliki kemungkinan dari beberapa nilai parameter diberikan data X . Hal ini sama dengan produk dari probabilitas massa (kasus diskrit), atau kepadatan (kasus kontinu) fungsi f dari X parametrized oleh θ . Kemungkinan adalah fungsi dari parameter yang diberikan data. Perhatikan bahwa θ adalah parameter yang kami optimalkan, bukan variabel acak, sehingga tidak memiliki probabilitas yang ditetapkan untuknya. Inilah sebabnya mengapa Wikipedia menyatakan bahwa menggunakan notasi probabilitas bersyarat mungkin ambigu, karena kita tidak mengkondisikan pada variabel acak apa pun. Di sisi lain, dalam pengaturan Bayesian θ adalahθ XfXθθθ variabel acak dan memang memiliki distribusi, sehingga kita dapat bekerja dengannya seperti dengan variabel acak lainnya dan kita dapat menggunakan teorema Bayes untuk menghitung probabilitas posterior. Kemungkinan Bayesian masih kemungkinan karena memberi tahu kita tentang kemungkinan data yang diberikan parameter, satu-satunya perbedaan adalah bahwa parameter tersebut dianggap sebagai variabel acak.

Jika Anda tahu pemrograman, Anda bisa memikirkan fungsi kemungkinan sebagai fungsi kelebihan beban dalam pemrograman. Beberapa bahasa pemrograman memungkinkan Anda untuk memiliki fungsi yang bekerja secara berbeda ketika dipanggil menggunakan tipe parameter yang berbeda. Jika Anda memikirkan kemungkinan seperti ini, maka secara default jika menganggap beberapa nilai parameter dan mengembalikan kemungkinan data yang diberikan parameter ini. Di sisi lain, Anda dapat menggunakan fungsi tersebut dalam pengaturan Bayesian, di mana parameter adalah variabel acak, ini pada dasarnya menghasilkan output yang sama, tetapi itu dapat dipahami sebagai probabilitas bersyarat karena kita mengkondisikan pada variabel acak. Dalam kedua kasus fungsi berfungsi sama, hanya Anda menggunakannya dan memahaminya sedikit berbeda.

// likelihood "as" overloaded function
Default Likelihood(Numeric theta, Data X) {
    return f(X, theta); // returns likelihood, not probability
}

Bayesian Likelihood(RandomVariable theta, Data X) {
    return f(X, theta); // since theta is r.v., the output can be
                        // understood as conditional probability
}

Selain itu, Anda lebih suka tidak akan menemukan Bayesians yang menulis teorema Bayes sebagai

P(θ|X)L(θ|X)P(θ)

... ini akan sangat membingungkan . Pertama, Anda harus di kedua sisi persamaan dan itu tidak masuk akal. Kedua, kami memiliki probabilitas posterior untuk mengetahui tentang probabilitas θ data yang diberikan (yaitu hal yang ingin Anda ketahui dalam kerangka likelihoodist, tetapi Anda tidak tahu ketika θ bukan variabel acak). Ketiga, karena θ adalah variabel acak, kami memiliki dan menuliskannya sebagai probabilitas bersyarat. The Lθ|XθθθL-notasi umumnya disediakan untuk pengaturan likelihoodist. Kemungkinan nama digunakan oleh konvensi dalam kedua pendekatan untuk menunjukkan hal yang serupa: bagaimana probabilitas mengamati perubahan data tersebut mengingat model dan parameter Anda.


Terima kasih Tim, ini sangat membantu pemahaman saya. Saya telah kembali mengonsolidasikan pertanyaan saya (lihat di bawah "Edit") dengan pengetahuan baru ini. Saya percaya semua yang saya tulis sekarang ada benar. Satu-satunya ketidaksepakatan adalah poin terakhir dalam daftar pada aturan Bayes. Jika Anda bisa melihatnya, saya akan sangat menghargai itu. Terima kasih lagi, dan dapatkan upvote!
Creatron

1
@Creatron Saya menambahkan kalimat yang mengomentari jawaban terakhir Anda untuk jawaban saya, harap sekarang jelas - jika tidak tolong katakan demikian.
Tim

(1/2) Hasil edit Anda pada operator kelebihan beban sangat membantu saya. Dalam hal ini, tampaknya bagi saya bahwa kita dapat mengatakan ini: 1) Di bawah (kasus sejarah 'matematis murni' dalam arti apa yang mungkin berarti Fisher), kasus, di mana bukanlah variabel acak, dan sebagai gantinya adalah parameter dari PDF, (atau fungsi parameter?), maka kemungkinannya sama dengan probabilitas P ( X = x ; θ ) . Fungsi likelihood BUKAN distribusi probabilitas, tentu saja, tetapi EQUAL UNTUK probabilitas P ( X = x ; θ ) . Apakah ini benar? θP(X=x;θ)P(X=x;θ)
Creatron

(2/2) Namun dalam kasus kedua, (2), ketika konteksnya adalah pengaturan Bayesian, maka dalam hal ini parameter kami adalah rv, dan dalam hal ini kemungkinan IS sebenarnya, distribusi probabilitas bersyarat, dari P (b | a), ditulis, sebagai L (a | b). Jadi dalam kasus 'standar' pertama, kemungkinannya jelas BUKAN distribusi probabilitas, (tetapi sama dengan nilai probabilitas), namun dalam kasus kedua, kemungkinan IS sebenarnya merupakan distribusi probabilitas, dan bahwa distribusi probabilitas merupakan kondisi bersyarat. probabilitas, dituliskan sebagai P (b | a). Apakah ini benar?
Creatron

2
Terima kasih Tim, walaupun saya menerima jawaban @amoeba, postingan Anda benar-benar membantu saya memahami konsep yang beragam dan mendalam ini, terutama analogi Anda dengan fungsi yang berlebihan. Terima kasih lagi!
Creatron

7

Ada beberapa aspek dari deskripsi umum tentang kemungkinan yang tidak tepat atau menghilangkan detail dengan cara yang menimbulkan kebingungan. Entri Wikipedia adalah contoh yang bagus.

Pertama, kemungkinan tidak dapat secara umum sama dengan probabilitas data yang diberikan nilai parameter, karena kemungkinan hanya didefinisikan hingga konstanta proporsionalitas. Fisher secara eksplisit tentang hal itu ketika ia pertama kali memformalkan kemungkinan (Fisher, 1922). Alasan untuk itu tampaknya adalah fakta bahwa tidak ada batasan pada integral (atau penjumlahan) dari fungsi kemungkinan, dan kemungkinan mengamati data dalam model statistik yang diberikan nilai parameter apa pun sangat dipengaruhi oleh ketepatan nilai data dan rincian spesifikasi nilai parameter.x

Kedua, lebih membantu untuk memikirkan fungsi kemungkinan daripada kemungkinan individu. Fungsi likelihood adalah fungsi dari nilai parameter model, seperti terlihat dari grafik fungsi likelihood. Grafik seperti itu juga memudahkan untuk melihat bahwa kemungkinan memungkinkan pemeringkatan dari berbagai nilai parameter sesuai dengan seberapa baik model memprediksi data ketika diatur ke nilai parameter tersebut. Eksplorasi fungsi kemungkinan membuat peran data dan nilai-nilai parameter jauh lebih jelas, menurut pendapat saya, daripada cogitation dari berbagai formula yang diberikan dalam pertanyaan asli.

Penggunaan rasio pasangan kemungkinan dalam fungsi kemungkinan sebagai tingkat dukungan relatif yang ditawarkan oleh data yang diamati untuk nilai parameter (dalam model) mengatasi masalah konstanta proporsionalitas yang tidak diketahui karena konstanta tersebut membatalkan dalam rasio. Penting untuk dicatat bahwa konstanta tidak harus membatalkan dalam rasio kemungkinan yang berasal dari fungsi kemungkinan terpisah (yaitu dari model statistik yang berbeda).

Akhirnya, penting untuk menjadi eksplisit tentang peran model statistik karena kemungkinan ditentukan oleh model statistik serta data. Jika Anda memilih model yang berbeda, Anda mendapatkan fungsi kemungkinan yang berbeda, dan Anda bisa mendapatkan konstanta proporsionalitas yang tidak diketahui.

Jadi, untuk menjawab pertanyaan awal, kemungkinan bukan probabilitas apa pun. Mereka tidak mematuhi aksioma probabilitas Kolmogorov, dan mereka memainkan peran yang berbeda dalam mendukung statistik kesimpulan dari peran yang dimainkan oleh berbagai jenis probabilitas.

  1. Fisher (1922) Tentang dasar matematika statistik http://rsta.royalsocietypublishing.org/content/222/594-604/309

1
P(a|b)=P(b|a)P(a)P(b)P(b|a)P(a)

@Creatron 1. Tidak, pernyataan itu tidak selalu salah. Fungsi kemungkinan adalah bagaimana bukti masuk perhitungan, dan menggabungkannya dengan distribusi probabilitas menghasilkan distribusi probabilitas. Dalam konteks itu konstanta proporsionalitas yang tidak diketahui tidak menjadi masalah karena setelah produk fungsi kemungkinan dan distribusi probabilitas sebelumnya diubah secara sewenang-wenang sehingga memiliki integral kesatuan (atau jumlah) yang benar.
Michael Lew

2. Dalam konteks menemukan estimasi kemungkinan maksimum, tidak ada bedanya apakah Anda menggunakan probabilitas kondisional atau kemungkinan, karena mereka akan proporsional di seluruh rentang nilai parameter.
Michael Lew

1
L(θ|x)=P(x|θ)L(θ|x)P(x|θ)

Terima kasih Micheal Lew, kiriman Anda sangat membantu dalam pemahaman saya tentang masalah ini, sangat saya hargai.
Creatron

7

L(θ)θθθ

θL(θ)=,
L(θ)=1θdθΘ
ΘL(θ)dθ=.
L
θP(xθ) and NOT xP(xθ).

2
+1 dan terima kasih atas pengeditan jawaban saya; Saya lupa itu \midada.
Amuba mengatakan Reinstate Monica

@amoeba: Senang membantu.
Michael Hardy

3

"Saya membaca ini sebagai:" Kemungkinan parameter sama dengan theta, mengingat data X = x, (sisi kiri), sama dengan probabilitas data X sama dengan x, mengingat bahwa parameternya sama dengan theta ". (Bold adalah milikku untuk penekanan)."

P(x|θ)L(θ|x)

θθ=θθ


P(a|b)L(θ|x)=P(X=x;θ)

P(a|b)=P(b|a) P(a)P(b)P(b|a)

L(θ|x):=P(x|θ)θxLLθ

L(θ|x)P(x|θ)

Ini lebih masuk akal bagi saya sekarang. Terima kasih atas bantuan awal Anda, @Alex.
Creatron
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.