Bagaimana Anda menjelaskan dalam bahasa Inggris biasa karakteristik yang membedakan penalaran Bayesian dari Frequentist?
Bagaimana Anda menjelaskan dalam bahasa Inggris biasa karakteristik yang membedakan penalaran Bayesian dari Frequentist?
Jawaban:
Inilah cara saya menjelaskan perbedaan mendasar kepada nenek saya:
Saya salah meletakkan telepon saya di suatu tempat di rumah. Saya dapat menggunakan pencari lokasi telepon di dasar instrumen untuk mencari lokasi telepon dan ketika saya menekan pencari telepon, telepon mulai berbunyi bip.
Masalah: Area mana di rumah saya yang harus saya cari?
Saya dapat mendengar telepon berbunyi. Saya juga memiliki model mental yang membantu saya mengidentifikasi area dari mana suara itu berasal. Karena itu, setelah mendengar bunyi bip, saya menyimpulkan daerah rumah saya, saya harus mencari untuk menemukan telepon.
Saya dapat mendengar telepon berbunyi. Sekarang, terlepas dari model mental yang membantu saya mengidentifikasi area dari mana suara itu berasal, saya juga tahu lokasi di mana saya salah meletakkan telepon di masa lalu. Jadi, saya menggabungkan kesimpulan saya menggunakan bunyi bip dan informasi saya sebelumnya tentang lokasi saya salah meletakkan telepon di masa lalu untuk mengidentifikasi area yang harus saya cari untuk menemukan telepon.
Lidah tegas di pipi:
Bayesian mendefinisikan "probabilitas" dengan cara yang persis sama dengan yang dilakukan sebagian besar non-ahli statistik - yaitu indikasi kemungkinan masuknya suatu proposisi atau situasi. Jika Anda mengajukan pertanyaan kepadanya, ia akan memberi Anda jawaban langsung yang memberikan probabilitas yang menjelaskan kemungkinan hasil yang mungkin untuk situasi tertentu (dan nyatakan asumsi sebelumnya).
Seorang Frequentist adalah seseorang yang percaya probabilitas mewakili frekuensi jangka panjang yang dengannya peristiwa terjadi; jika perlu, ia akan menciptakan populasi fiktif yang darinya situasi khusus Anda dapat dianggap sebagai sampel acak sehingga ia dapat berbicara secara bermakna tentang frekuensi jangka panjang. Jika Anda mengajukan pertanyaan kepadanya tentang situasi tertentu, dia tidak akan memberikan jawaban langsung, melainkan membuat pernyataan tentang populasi (kemungkinan imajiner) ini. Banyak ahli statistik non-sering akan dengan mudah bingung dengan jawaban dan menafsirkannya sebagai probabilitas Bayesian tentang situasi tertentu.
Namun, penting untuk dicatat bahwa sebagian besar metode Frequentist memiliki padanan Bayesian yang dalam kebanyakan keadaan pada dasarnya akan memberikan hasil yang sama, perbedaannya sebagian besar adalah masalah filosofi, dan dalam praktiknya itu adalah masalah "kuda untuk kursus".
Seperti yang mungkin sudah Anda duga, saya seorang Bayesian dan seorang insinyur. ;Hai)
Sangat kasar saya akan mengatakan bahwa:
Frequentist: Pengambilan sampel tidak terbatas dan aturan keputusan bisa tajam. Data adalah sampel acak berulang - ada frekuensi. Parameter yang mendasarinya tetap yaitu mereka tetap konstan selama proses pengambilan sampel berulang ini.
Bayesian: Jumlah yang tidak diketahui diperlakukan secara probabilistik dan keadaan dunia selalu dapat diperbarui. Data diamati dari sampel yang direalisasikan. Parameter tidak diketahui dan dijelaskan secara probabilistik. Ini adalah data yang diperbaiki.
Ada posting blog yang brilian yang memberikan contoh mendalam tentang bagaimana Bayesian dan Frequentist akan mengatasi masalah yang sama. Mengapa tidak menjawab sendiri masalahnya lalu periksa?
Masalahnya (diambil dari blog Panos Ipeirotis '):
Anda memiliki koin yang ketika terbalik berakhir dengan probabilitas p dan berakhir dengan probabilitas 1-p. (Nilai p tidak diketahui.)
Mencoba memperkirakan p, Anda membalik koin 100 kali. Itu berakhir kepala 71 kali.
Maka Anda harus memutuskan acara berikut: "Dalam dua lemparan berikutnya kita akan mendapatkan dua kepala berturut-turut."
Apakah Anda bertaruh bahwa peristiwa itu akan terjadi atau itu tidak akan terjadi?
Katakanlah seorang lelaki menggulung dadu bersisi enam dan hasilnya 1, 2, 3, 4, 5, atau 6. Lebih lanjut, dia mengatakan bahwa jika mendarat pada angka 3, dia akan memberi Anda buku teks gratis.
Kemudian secara informal:
The Frequentist akan mengatakan bahwa setiap hasil memiliki peluang yang sama dengan 1 dalam 6 terjadi. Dia memandang probabilitas berasal dari distribusi frekuensi jangka panjang.
The Bayesian namun akan mengatakan menggantung pada kedua, saya tahu orang itu, dia David Blaine, penipu terkenal! Aku punya perasaan dia merencanakan sesuatu. Saya akan mengatakan bahwa hanya ada 1% peluangnya untuk mendarat di 3 TETAPI saya akan mengevaluasi kembali kepercayaan itu dan mengubahnya semakin sering dia menggulingkan dadu. Jika saya melihat angka-angka lain muncul sama seringnya, maka saya akan meningkatkan kesempatan dari 1% menjadi sesuatu yang sedikit lebih tinggi, jika tidak saya akan mengurangi itu lebih jauh. Dia memandang probabilitas sebagai tingkat kepercayaan pada proposisi.
Hanya sedikit bersenang-senang ...
Dari situs ini:
http://www2.isye.gatech.edu/~brani/isyebayes/jokes.html
dan dari situs yang sama, esai yang bagus ...
"Penjelasan Intuitif Teorema Bayes"
Bayesian diminta untuk membuat taruhan, yang mungkin termasuk apa pun dari mana terbang akan merangkak ke dinding lebih cepat yang obatnya akan menyelamatkan sebagian besar nyawa, atau tahanan mana yang harus masuk penjara. Dia memiliki kotak besar dengan pegangan. Dia tahu bahwa jika dia benar-benar memasukkan semua yang dia tahu ke dalam kotak, termasuk pendapat pribadinya, dan mengubah pegangannya, itu akan membuat keputusan terbaik untuknya.
Sering kali diminta untuk menulis laporan. Dia memiliki buku peraturan besar yang hitam. Jika situasi ia diminta untuk membuat laporan dicakup oleh buku peraturannya, ia dapat mengikuti aturan dan menulis laporan dengan sangat hati-hati sehingga salah, paling buruk, satu kali dalam 100 (atau satu kali dalam 20, atau satu waktu dalam apa pun spesifikasi untuk laporannya mengatakan).
Orang yang sering tahu (karena dia telah menulis laporannya) bahwa orang Bayesian kadang-kadang membuat taruhan bahwa, dalam kasus terburuk, ketika pendapat pribadinya salah, bisa berubah menjadi buruk. Si frequentist juga tahu (untuk alasan yang sama) bahwa jika dia bertaruh melawan Bayesian setiap kali dia berbeda darinya, maka, dalam jangka panjang, dia akan kalah.
Dalam bahasa Inggris yang sederhana, saya akan mengatakan bahwa penalaran Bayesian dan Frequentist dibedakan oleh dua cara berbeda untuk menjawab pertanyaan:
Apa itu probabilitas?
Sebagian besar perbedaan pada dasarnya akan menjadi bagaimana masing-masing menjawab pertanyaan ini, karena pada dasarnya mendefinisikan domain aplikasi teori yang valid. Sekarang Anda tidak dapat benar-benar memberikan jawaban dalam "bahasa Inggris biasa", tanpa menghasilkan lebih banyak pertanyaan. Bagi saya jawabannya adalah (karena Anda mungkin bisa menebak)
probabilitas adalah logika
"Non-plain english" alasan saya untuk ini adalah bahwa kalkulus proposisi adalah kasus khusus kalkulus probabilitas, jika kita merepresentasikan kebenaran sebesar dan kepalsuan sebesar0 1. Selain itu, kalkulus probabilitas dapat diturunkan dari kalkulus proposisi. Ini sesuai dengan penalaran "bayesian" paling dekat - meskipun itu juga memperluas penalaran bayesian dalam aplikasi dengan memberikan prinsip untuk menetapkan probabilitas, di samping prinsip untuk memanipulasi mereka. Tentu saja, ini mengarah pada pertanyaan lanjutan "apa itu logika?" bagi saya, hal terdekat yang bisa saya berikan sebagai jawaban untuk pertanyaan ini adalah "logika adalah penilaian akal sehat dari orang yang rasional, dengan seperangkat asumsi yang diberikan" (apa yang orang yang rasional? dll. dll). Logika memiliki semua fitur yang sama dengan yang dimiliki Bayesian. Misalnya, logika tidak memberi tahu Anda apa yang harus diasumsikan atau apa yang "mutlak benar". Itu hanya memberi tahu Anda bagaimana kebenaran satu proposisi terkait dengan kebenaran yang lain. Anda selalu harus menyediakan sistem logis dengan "aksioma" untuk memulai kesimpulan. Mereka juga memiliki keterbatasan yang sama dalam hal Anda bisa mendapatkan hasil yang sewenang-wenang dari aksioma yang saling bertentangan. Tetapi "aksioma" tidak lain adalah probabilitas sebelumnya yang telah ditetapkan . Bagi saya, menolak penalaran Bayesian berarti menolak logika. Karena jika Anda menerima logika, maka karena penalaran Bayesian "secara logis mengalir dari logika" (bagaimana dengan bahasa Inggris: P), Anda juga harus menerima penalaran Bayesian.
Untuk alasan yang sering, kami punya jawabannya:
probabilitas adalah frekuensi
walaupun saya tidak yakin "frekuensi" adalah istilah bahasa Inggris yang biasa digunakan dalam istilah ini - mungkin "proporsi" adalah kata yang lebih baik. Saya ingin menambahkan jawaban yang sering bahwa kemungkinan suatu peristiwa dianggap sebagai kuantitas yang nyata, dapat diukur (dapat diamati?), Yang ada secara independen dari orang / objek yang menghitungnya. Tetapi saya tidak bisa melakukan ini dengan cara "bahasa Inggris biasa".
Jadi mungkin versi "bahasa Inggris biasa" dari satu perbedaan bisa jadi bahwa penalaran yang sering adalah upaya untuk menalar dari probabilitas "absolut", sedangkan penalaran bayesian adalah upaya untuk menalar dari probabilitas "relatif".
Perbedaan lain adalah bahwa fondasi frequentist lebih kabur dalam cara Anda menerjemahkan masalah dunia nyata ke dalam matematika abstrak dari teori tersebut. Contoh yang baik adalah penggunaan "variabel acak" dalam teori - mereka memiliki definisi yang tepat dalam dunia abstrak matematika, tetapi tidak ada prosedur jelas yang dapat digunakan untuk memutuskan apakah beberapa kuantitas yang diamati adalah atau tidak "acak" variabel".
Cara berpikir bayesian, gagasan "variabel acak" tidak diperlukan. Distribusi probabilitas ditetapkan ke kuantitas karena tidak diketahui - yang berarti tidak dapat disimpulkan secara logis dari informasi yang kami miliki. Ini sekaligus memberikan koneksi sederhana antara kuantitas yang dapat diamati dan teori - karena "tidak diketahui" tidak ambigu.
Anda juga dapat melihat dalam contoh di atas perbedaan lebih lanjut dalam dua cara berpikir ini - "acak" vs "tidak dikenal". "keacakan" diutarakan sedemikian rupa sehingga "keacakan" tampak seperti itu adalah properti dari kuantitas aktual. Sebaliknya, "menjadi tidak diketahui" tergantung pada orang yang Anda tanyakan tentang jumlah itu - karena itu merupakan properti ahli statistik yang melakukan analisis. Ini menimbulkan kata sifat "obyektif" versus "subyektif" yang sering dikaitkan dengan setiap teori. Mudah untuk menunjukkan bahwa "keacakan" tidak dapat menjadi properti dari beberapa contoh standar, dengan hanya meminta dua orang yang sering diberi informasi berbeda tentang jumlah yang sama untuk memutuskan apakah "acak". Salah satunya adalah Bernoulli Urn yang biasa: frequentist 1 ditutup matanya saat menggambar, sedangkan frequentist 2 berdiri di atas guci, menonton frequentist 1 menarik bola dari guci. Jika deklarasi "keacakan" adalah properti dari bola di guci, maka itu tidak dapat bergantung pada pengetahuan yang berbeda dari frequentist 1 dan 2 - dan karenanya dua frequentist harus memberikan deklarasi yang sama "acak" atau "tidak acak" .
Pada kenyataannya, saya pikir banyak dari filosofi di sekitar masalah ini hanya luar biasa. Itu bukan untuk menolak debat, tapi itu kata peringatan. Terkadang, masalah praktis diprioritaskan - Saya akan memberikan contoh di bawah ini.
Anda juga dapat dengan mudah berargumen bahwa ada lebih dari dua pendekatan:
Seorang kolega senior baru-baru ini mengingatkan saya bahwa "banyak orang dalam bahasa yang sama berbicara tentang frequentist dan Bayesian. Saya pikir perbedaan yang lebih valid adalah berdasarkan kemungkinan dan sering. Baik kemungkinan maksimum dan metode Bayes mematuhi prinsip kemungkinan sedangkan metode frequentist tidak. "
Saya akan mulai dengan contoh praktis yang sangat sederhana:
Kami punya pasien. Pasien sehat (H) atau sakit (S). Kami akan melakukan tes pada pasien, dan hasilnya akan positif (+) atau negatif (-). Jika pasien sakit, mereka akan selalu mendapatkan hasil yang positif. Kami akan menyebut ini hasil yang benar (C) dan mengatakan bahwa atau Jika pasien sehat, tes akan negatif 95% dari waktu, tetapi ada akan ada beberapa positif palsu. Dalam karya lain, probabilitas tes menjadi Benar, untuk orang sehat, adalah 95%.P ( C o r r e c t | S ) = 1 P ( - | H ) = 0,95 P ( + | H ) = 0,05
Jadi, tes ini 100% akurat atau 95% akurat, tergantung pada apakah pasien sehat atau sakit. Secara keseluruhan, ini berarti tes ini setidaknya 95% akurat.
Sejauh ini bagus. Itu adalah pernyataan yang akan dibuat oleh frequentist. Pernyataan-pernyataan itu cukup sederhana untuk dipahami dan benar. Tidak perlu bingung tentang 'interpretasi yang sering'.
Tapi, hal-hal menjadi menarik ketika Anda mencoba membalikkan keadaan. Mengingat hasil tes, apa yang dapat Anda pelajari tentang kesehatan pasien? Dengan hasil tes negatif, pasien jelas sehat, karena tidak ada negatif palsu.
Tetapi kita juga harus mempertimbangkan kasus di mana tesnya positif. Apakah tes positif karena pasien benar-benar sakit, atau apakah itu positif palsu? Di sinilah sering dan Bayesian berbeda. Semua orang akan setuju bahwa ini tidak dapat dijawab saat ini. Sering akan menolak untuk menjawab. Bayesian akan siap untuk memberi Anda jawaban, tetapi Anda harus memberi Bayesian terlebih dahulu - yaitu mengatakan proporsi pasien yang sakit.
Untuk rekap, pernyataan berikut ini benar:
Jika Anda puas dengan pernyataan seperti itu, maka Anda menggunakan interpretasi yang sering. Ini mungkin berubah dari proyek ke proyek, tergantung pada jenis masalah apa yang Anda lihat.
Tetapi Anda mungkin ingin membuat pernyataan yang berbeda dan menjawab pertanyaan berikut:
Ini membutuhkan pendekatan prior dan Bayesian. Perhatikan juga bahwa ini adalah satu-satunya pertanyaan yang menarik bagi dokter. Dokter akan berkata "Saya tahu bahwa pasien akan mendapatkan hasil positif atau hasil negatif. Saya juga sekarang bahwa hasil negatif berarti pasien sehat dan dapat dikirim pulang. Satu-satunya pasien yang menarik minat saya sekarang adalah mereka yang mendapat hasil positif - apakah mereka sakit? "
Untuk meringkas: Dalam contoh seperti ini, Bayesian akan setuju dengan semua yang dikatakan oleh frequentist. Tetapi Bayesian akan berpendapat bahwa pernyataan frequentist, meskipun benar, tidak terlalu berguna; dan akan berpendapat bahwa pertanyaan yang berguna hanya dapat dijawab dengan sebelumnya.
Seorang frequentist akan mempertimbangkan setiap nilai yang mungkin dari parameter (H atau S) pada gilirannya dan bertanya "jika parameternya sama dengan nilai ini, berapakah probabilitas pengujian saya benar?"
Sebaliknya, seorang Bayesian akan mempertimbangkan setiap nilai yang mungkin diamati (+ atau -) dan bertanya, "Jika saya bayangkan saya baru saja mengamati nilai itu, apa yang saya katakan tentang probabilitas bersyarat H-versus-S?"
For sick patients, the test is NOT very accurate.
Anda Anda melupakan TIDAK?
Statistik Bayesian dan frequentist kompatibel karena dapat dipahami sebagai dua kasus pembatas dalam menilai probabilitas kejadian di masa depan berdasarkan peristiwa masa lalu dan model yang diasumsikan, jika seseorang mengakui bahwa dalam batas jumlah pengamatan yang sangat besar, tidak ada ketidakpastian tentang sistem tetap ada, dan dalam hal ini sejumlah besar pengamatan sama dengan mengetahui parameter model.
Anggaplah kita telah melakukan beberapa pengamatan, misalnya, hasil 10 koin terbalik. Dalam statistik Bayesian, Anda mulai dari apa yang telah Anda amati dan kemudian Anda menilai probabilitas pengamatan di masa depan atau parameter model. Dalam statistik frequentist, Anda mulai dari ide (hipotesis) tentang apa yang benar dengan mengasumsikan skenario sejumlah besar pengamatan yang telah dilakukan, misalnya, koin tidak bias dan memberikan 50% kepala ke atas, jika Anda melemparkannya berkali-kali. Berdasarkan pada skenario sejumlah besar pengamatan ini (= hipotesis), Anda menilai frekuensi melakukan pengamatan seperti yang Anda lakukan, yaitu, frekuensi hasil yang berbeda dari 10 flips koin. Hanya saat itulah Anda mengambil hasil aktual Anda, membandingkannya dengan frekuensi kemungkinan hasil, dan memutuskan apakah hasilnya milik mereka yang diharapkan terjadi dengan frekuensi tinggi. Jika demikian, Anda berkesimpulan bahwa pengamatan yang dilakukan tidak bertentangan dengan skenario Anda (= hipotesis). Jika tidak, Anda menyimpulkan bahwa pengamatan yang dilakukan tidak sesuai dengan skenario Anda, dan Anda menolak hipotesis.
Dengan demikian, statistik Bayesian dimulai dari apa yang telah diamati dan menilai kemungkinan hasil di masa depan. Statistik Frequentist dimulai dengan eksperimen abstrak tentang apa yang akan diamati jika seseorang mengasumsikan sesuatu, dan hanya kemudian membandingkan hasil eksperimen abstrak dengan apa yang sebenarnya diamati. Kalau tidak, kedua pendekatan tersebut kompatibel. Mereka berdua menilai probabilitas pengamatan di masa depan berdasarkan beberapa pengamatan yang dibuat atau dihipotesiskan.
Saya mulai menulis ini dengan cara yang lebih formal:
Memposisikan inferensi Bayesian sebagai aplikasi khusus inferensi frequentist dan sebaliknya. figshare.
http://dx.doi.org/10.6084/m9.figshare.867707
Naskah itu baru. Jika Anda membacanya, dan memiliki komentar, harap beri tahu saya.
Saya akan mengatakan bahwa mereka melihat probabilitas dalam berbagai cara. Bayesian bersifat subyektif dan menggunakan keyakinan apriori untuk menentukan distribusi probabilitas sebelumnya pada nilai yang mungkin dari parameter yang tidak diketahui. Jadi dia bergantung pada teori probabilitas seperti deFinetti. Orang yang sering melihat probabilitas sebagai sesuatu yang berkaitan dengan frekuensi terbatas berdasarkan proporsi yang diamati. Ini sejalan dengan teori probabilitas yang dikembangkan oleh Kolmogorov dan von Mises.
Seorang frequentist melakukan inferensi parametrik hanya dengan menggunakan fungsi kemungkinan. Bayesian mengambilnya dan mengalikannya dengan prior dan menormalkannya untuk mendapatkan distribusi posterior yang ia gunakan untuk inferensi.
Cara saya menjawab pertanyaan ini adalah bahwa sering membandingkan data yang mereka lihat dengan apa yang mereka harapkan. Artinya, mereka memiliki model mental tentang seberapa sering sesuatu harus terjadi, dan kemudian melihat data dan seberapa sering itu terjadi. yaitu seberapa besar kemungkinan data yang telah mereka lihat mengingat model yang mereka pilih.
Orang Bayesian , di sisi lain, menggabungkan model mental mereka. Yaitu, mereka memiliki model berdasarkan pengalaman mereka sebelumnya yang memberi tahu mereka seperti apa data itu seharusnya, dan kemudian mereka menggabungkan ini dengan data yang mereka amati untuk didasarkan pada keyakinan " posterior". yaitu, mereka menemukan probabilitas model yang mereka pilih adalah valid mengingat data yang telah mereka amati.
Frequentist: Keadaan alam yang sebenarnya adalah. Jika saya terbiasa melakukan analisis seperti ini, 95% jawaban saya akan benar.
Bayesian: Ada kemungkinan 95% bahwa jawaban yang sebenarnya adalah .... Saya mendasarkan bahwa pada kombinasi data yang Anda berikan kepada saya dan tebakan kami sebelumnya tentang apa yang sebenarnya.
Frequentist: bertaruh pada dadu. Hanya nilai dadu yang akan menentukan hasilnya: Anda memenangkan taruhan atau tidak. Tergantung pada kesempatan saja.
Bayesian: bermain poker Texas Hold'em. Anda adalah satu-satunya yang melihat dua kartu Anda. Anda memiliki pengetahuan tentang pemain lain di atas meja. Anda harus menyesuaikan probabilitas Anda untuk menang di flop, turn, dan river dan mungkin tergantung pada pemain mana yang tersisa. Apakah mereka sering menggertak? Apakah mereka pemain yang agresif atau pasif? Semua ini akan memutuskan apa yang Anda lakukan. Bukan hanya probabilitas dua kartu pertama yang Anda dapatkan, yang akan memutuskan apakah Anda menang atau tidak.
Bermain poker sering berarti bahwa setiap pemain akan menunjukkan tangannya di awal dan kemudian bertaruh atau lipat sebelum kartu gagal, putar dan sungai ditampilkan. Sekarang hanya tergantung pada kesempatan lagi apakah Anda menang atau tidak.
Katakanlah, jika Anda sakit kepala dan pergi ke dokter. Misalkan, dalam set keputusan dokter ada dua penyebab sakit kepala, # 1 untuk tumor otak (penyebab utama yang menyebabkan sakit kepala 99% dari waktu), dan dingin # 2 (penyebab yang dapat menyebabkan sakit kepala pada beberapa pasien) .
Maka keputusan dokter berdasarkan pendekatan Frequentist adalah, Anda menderita tumor otak.
Keputusan dokter berdasarkan pendekatan Bayesian akan memberi tahu Anda, Anda menderita pilek (walaupun hanya 1% pilek menyebabkan sakit kepala)
Seekor kucing jantan dan seekor kucing betina dikurung di ruang baja, bersama dengan makanan dan air yang cukup selama 70 hari.
Seorang Frequentist akan mengatakan periode kehamilan rata-rata untuk kucing adalah 66 hari, betina dalam keadaan panas ketika kucing-kucing itu ditulisi, dan sekali dalam panas dia akan kawin berulang kali selama 4 hingga 7 hari. Karena kemungkinan ada banyak aksi propagasi dan cukup waktu untuk kehamilan berikutnya, kemungkinannya adalah, ketika kotak dibuka pada hari ke 70, ada banyak anak kucing yang baru lahir.
Seorang Bayesian akan berkata, saya mendengar Marvin Gaye yang serius datang dari kotak pada hari 1 dan kemudian pagi ini saya mendengar banyak suara seperti anak kucing yang datang dari kotak. Jadi tanpa mengetahui banyak tentang reproduksi kucing, kemungkinannya adalah, ketika kotak dibuka pada hari ke 70, ada sampah anak kucing yang baru lahir.