Apa artinya Bayesian Hypothesis Testing dalam kerangka teori inferensi dan keputusan?

Latar belakang saya terutama dalam pembelajaran mesin dan saya mencoba mempelajari apa arti pengujian Hipotesis Bayesian. Saya setuju dengan interpretasi bayesian tentang probabilitas dan saya akrab dengannya dalam konteks model grafis probabilistik. Namun, yang membingungkan saya adalah apa arti kata "Hipotesis" dalam konteks inferensi statistik.

Saya pikir saya sebagian besar menjadi bingung tentang kosa kata yang saya terbiasa dengan pembelajaran mesin vs apa yang biasanya digunakan dalam statistik dan kesimpulan.

Dalam konteks pembelajaran terawasi , saya biasanya menganggap hipotesis sebagai fungsi prediktif yang memetakan contoh ke labelnya yaitu . Namun, bagi saya tampaknya istilah hipotesis, dalam bacaan yang saya lakukan tidak memiliki makna yang sama. Biarkan saya menempelkan ekstrak bacaan yang saya baca:$h:\mathcal{X} \rightarrow \mathcal{Y}$

Jika Anda membaca dengan seksama, itu juga mengatakan:

ada model yang berbeda untuk data yang diamati ...

apakah mereka menggunakan model kata. Bagi saya model kata membuat saya berpikir tentang serangkaian fungsi jika kita memilih fungsi prediksi tertentu. yaitu kelas fungsi hipotesis. Sebagai contoh, bisa menjadi kelas hipotesis fungsi kuadratik (polinomial derajat 2). Namun, bagi saya tampaknya mereka menggunakan model kata dan hipotesis sebagai sinonim dalam ekstrak ini (di mana bagi saya mereka kata-kata yang sama sekali berbeda).$\mathcal{H_{d2}}$

Kemudian disebutkan bahwa kita dapat menempatkan prior ke hipotesis (hal yang sepenuhnya masuk akal untuk dilakukan dalam pengaturan bayesian):

$$p_H(H_m), \ \ \ \ \ m=\{0, 1, ..., M-1 \}$$

kami juga dapat mengkarakterisasi data dengan hipotesis saat ini:

$$p_{y|H}( \cdot |H_m), \ \ \ \ \ m=\{0, 1, ..., M-1 \}$$

dan memperbarui kepercayaan kami saat ini dengan diberikan beberapa data (dan aturan Baye):

$$p_{H|y}(H_m|y), \ \ \ \ \ m=\{0, 1, ..., M-1 \}$$

Namun, saya kira saya lebih terbiasa menempatkan perkiraan bayesian ke parameter tertentu (katakanlah ) dari kelas hipotesis daripada ke seluruh kelas hipotesis. Pada dasarnya karena tampaknya "hipotesis" ini bukan hipotesis yang sama dari konteks pembelajaran mesin yang saya gunakan, tampaknya bagi saya bahwa hipotesis ini lebih mirip dengan parameter spesifik daripada dengan kelas hipotesis.$\theta$$\theta$

Pada titik ini saya yakin bahwa "hipotesis" memiliki arti yang sama seperti pada fungsi prediktif (parametrized oleh parameter , misalnya), tetapi saya pikir saya salah ...$\theta$

Untuk membuat kebingungan saya lebih buruk, kemudian pembacaan yang sama ini dilakukan untuk menentukan "hipotesis" tertentu untuk setiap contoh pelatihan yang mereka amati. Biarkan saya menempelkan ekstrak yang saya maksud:

alasan mengapa hal ini membingungkan saya adalah bahwa, jika saya menafsirkan hipotesis sebagai parameter, maka bagi saya tidak masuk akal untuk menentukan parameter spesifik untuk setiap nilai sampel yang kita lihat. Pada titik ini saya menyimpulkan bahwa saya benar-benar tidak tahu apa yang mereka maksud dengan hipotesis, jadi saya memposting pertanyaan ini.

Namun, saya tidak sepenuhnya menyerah, saya meneliti hipotesis apa artinya dalam statistik sering dan menemukan video akademi khan berikut . Video itu benar-benar masuk akal bagi saya (mungkin Anda seorang yang sering! :) . Namun, tampaknya mereka mendapatkan banyak data (seperti beberapa "set sampel") dan berdasarkan pada properti set sampel, mereka memutuskan apakah akan menerima atau menolak hipotesis nol tentang data. Namun, dalam konteks Bayesian yang saya baca, menurut saya, untuk setiap vektor [titik] data yang diamati, mereka "memberi label" dengan hipotesis dengan "Uji rasio kemungkinan":

Cara mereka menetapkan hipotesis untuk setiap sampel data, bahkan sepertinya pengaturan pembelajaran yang diawasi adalah kita menempelkan label pada setiap rangkaian pelatihan. Namun, saya tidak berpikir itulah yang mereka lakukan dalam konteks ini. Apa yang mereka lakukan? Apa artinya menetapkan hipotesis untuk setiap sampel data? Apa arti dari sebuah hipotesis? Apa arti kata model?

Pada dasarnya, setelah penjelasan panjang tentang kebingungan saya, apakah ada yang tahu apa artinya pengujian hipotesis bayesian dalam konteks ini?

---

Jika Anda memerlukan klarifikasi atau apa pun untuk meningkatkan pertanyaan saya atau agar pertanyaan itu masuk akal, saya akan dengan senang hati membantu :)

---

Dalam pencarian saya untuk jawaban saya menemukan beberapa hal berguna yang berkaitan dengan pengujian hipotesis statistik:

Ini membahas pengantar yang bagus untuk topik ini jika Anda berasal dari latar belakang CS (seperti saya):

Apa pengantar yang baik untuk pengujian hipotesis statistik untuk para ilmuwan komputer?

Pada titik tertentu saya bertanya tentang "parameter default" (yang seharusnya saya mendefinisikan apa yang saya maksud. Saya pikir itu adalah istilah standar tetapi tidak, jadi di sini saya akan mengatasinya) dan saya pikir apa yang saya maksud sebenarnya adalah bagaimana Anda menentukan parameter untuk setiap hipotesis yang Anda miliki. Misalnya, bagaimana Anda memutuskan hipotesis nol dan parameternya. Ada pertanyaan terkait itu:

Cara menentukan hipotesis nol dalam pengujian hipotesis

Sebuah model statistik yang diberikan oleh keluarga dari distribusi probabilitas. Ketika model parametrik, keluarga ini diindeks oleh parameter yang tidak diketahui : F = { f ( ⋅ | θ ) ; θ ∈ Θ } Jika seseorang ingin menguji hipotesis pada θ seperti H 0$\theta$

$$\mathcal{F}=\left\{ f(\cdot|\theta);\ \theta\in\Theta \right\}$$ $\theta$ , seseorang dapat menganggap dua model bertentangan: F versus F 0 = { f ( ⋅ | θ ) ; q ∈ q 0 } Dariperspektif Bayesian saya, saya menggambar inferensi pada indeks dari model di belakang data, M . Oleh karena itu saya meletakkan sebelumnya pada indeks ini, ρ 0 dan ρ a , serta pada parameter kedua model, π 0 ( θ ) lebih dari Θ 0 dan$H_0:\,\theta\in\Theta_0$$\mathcal{F}$ $$\mathcal{F}_0=\left\{ f(\cdot|\theta);\ \theta\in\Theta_0 \right\}$$ $\mathcal{M}$$\rho_0$$\rho_a$$\pi_0(\theta)$$\Theta_0$ lebih dari Θ . Dan saya kemudian menyimpulkan distribusi posterior indeks ini: π ( m = 0 | x ) = ρ 0 ∫ Θ 0 f ( x | θ ) π 0 ( θ ) d $\pi_a(\theta)$$\Theta$ Thedokumen yang Anda terkait denganmasuk ke rincian lebih banyak dalam perspektif ini dan harus menjadi pilihan Anda dalam pengujian statistik hipotesis, kecuali Anda mampu membaca seluruh buku Bayesian. Atau bahkan buku pembelajaran mesin $$\pi(m=0|x)=\dfrac{\rho_0\int_{\Theta_0} f(x|\theta)\pi_0(\theta)\text{d}\theta}{\rho_0\int_{\Theta_0} f(x|\theta)\pi_0(\theta)\text{d}\theta +(1-\rho_0)\int_{\Theta} f(x|\theta)\pi_a(\theta)\text{d}\theta}$$ seperti Kevin Murphy .

$X\sim\mathcal{N}(\theta,1)$$H_0:\theta=0$$\theta=0$$\mathcal{N}(0,1)$$\theta$$\theta\sim\mathcal{N}(0,10)$$\rho_0=1/2$

$$\begin{align*}\pi(m=0|x)&=\dfrac{\frac{1}{\sqrt{2\pi}}\exp\{-x^2/2\}}{\frac{1}{\sqrt{2\pi}}\exp\{-x^2/2\} +\int_{\mathbb{R}} \frac{1}{\sqrt{2\pi}}\exp\{-(x-\theta)^2/2\}\frac{1}{\sqrt{2\pi\times10}}\exp\{-\theta^2/20\}\text{d}\theta}\\ &=\dfrac{\exp\{-x^2/2\}}{\exp\{-x^2/2\} +\frac{1}{\sqrt{11}}\exp\{-x^2/22\}} \end{align*}$$

Excellent question. I think your confusion may result from some of the basic differences between the "frequentist" and "Bayesian" perspectives. I have a lot of experience with the former and am new to the later so attempting a few simple observations might help me too. I edited your question to make a few distinctions clear - at least, as I understand them. I hope you don't mind! If I got something wrong, you could re-edit your question or add a comment on this response.

1) At the risk of sounding somewhat too elementary: A model is any statement that attempts an explanation of reality like "If I had pancakes for breakfast, it must be Tuesday." As such, a model is an hypothesis. A famous quote by George Box: "All models are wrong, some models are useful." For a model to be useful there must be some way to test it. Enter the concept of competing hypotheses and the answer to one of your questions. I would suggest that "...in the context of statistical inference," an hypothesis is any model that may be useful and can be tested mathematically. So hypothesis testing is a means of making a decision about whether a model is useful of not. In summary, an hypothesis is a model under consideration. It could be different parameter values of the same function or different functions. I think your lecture notes are showing that different outcomes (measurements) in the sample space would make different hypotheses (Is the intercept parameter zero? Do I need a cube in that polynomial? Maybe it's really exponential?), more or less likely.

2) Your Kahn video is an example of what Bayesian's call the "Frequentist" approach to hypothesis testing so it may have confused you when trying to apply it to your lecture notes which are Bayesian. I have been trying to come up with a simple distinction between application of the two approaches (which may be dangerous). I think I understand the philosophical distinction reasonably well. From what I have seen, the "Frequentist" assumes a random component to the data and tests how likely the observed data are given non-random parameters. The "Bayesian" assumes the data are fixed and determines the most likely value of random parameters. This difference leads to different testing methods.

In "Frequentist" hypothesis testing, a model that may be useful is one which explains some effect so it is compared with the "null hypothesis" - the model of no effect. The attempt is made to set up a useful model that is mutually exclusive to the model of no effect. The test is then on the probability of observing the data under the assumption of no effect. If that probability is found to be low, the null hypothesis is rejected and the alternative is all that's left. (Note that a purist would never "accept" the null hypothesis, only "fail to reject" one. It may sound like angels dancing on the head of a pin but the distinction is a fundamental philosophical one) Intro statistics usually starts with what may be the simplest example: "Two groups are different." The null hypothesis that they are not different is tested by calculating how likely it would be to observe differences as great or greater as measured by a random experiment given that they are not different. This is usually a t-test where the null hypothesis is that the difference of the means is zero. So the parameter is the mean at a fixed value of zero.

The Bayesian mengatakan, "Tunggu sebentar, kami membuat pengukuran mereka dan mereka yang berbeda, jadi bagaimana mungkin adalah bahwa?" Mereka menghitung probabilitas untuk setiap nilai dari parameter acak (sekarang) dan memilih satu yang setinggi mungkin. Jadi dalam arti tertentu, setiap nilai yang mungkin dari parameter adalah model yang terpisah. Tetapi sekarang mereka membutuhkan cara untuk membuat keputusan tentang apakah model dengan probabilitas tertinggi cukup berbeda. Itu sebabnya catatan kuliah Anda memperkenalkan fungsi biaya. Untuk membuat keputusan yang baik, diperlukan asumsi konsekuensi dari pengambilan keputusan yang salah.

3) "Apa artinya menetapkan hipotesis untuk setiap sampel data?" Saya kira tidak. Hati-hati dengan apa yang dimaksud dengan "titik sampel". Saya percaya mereka mengacu pada vektor sampel tertentu dan ingin tahu seberapa besar kemungkinan masing-masing hipotesis untuk semua vektor sampel dalam ruang sampel. Persamaan (14) dan (15) menunjukkan bagaimana membandingkan dua hipotesis untuk vektor sampel tertentu. Jadi mereka menyederhanakan argumen umum membandingkan beberapa hipotesis dengan menunjukkan bagaimana membandingkan hanya dua.

Katakanlah Anda memiliki data dari sekumpulan kotak. Data terdiri dari Panjang (L), Lebar (W), Tinggi (H), dan Volume (V).

Jika kita tidak tahu banyak tentang kotak / geometri, kita dapat mencoba modelnya:

V = a*L + b*W + c*H + e

Model ini memiliki tiga parameter (a, b, c) yang dapat bervariasi, ditambah istilah kesalahan / biaya (e) yang menggambarkan seberapa baik hipotesis sesuai dengan data. Setiap kombinasi nilai parameter akan dianggap sebagai hipotesis yang berbeda. Nilai parameter "default" yang dipilih biasanya nol, yang dalam contoh di atas akan sesuai dengan "tidak ada hubungan" antara V dan L, W, H.

Apa yang dilakukan orang adalah menguji hipotesis "default" ini dengan memeriksa apakah e berada di luar beberapa nilai cutoff, biasanya dengan menghitung nilai-p dengan asumsi distribusi kesalahan normal di sekitar model fit. Jika hipotesis itu ditolak, maka mereka menemukan kombinasi parameter a, b, c yang memaksimalkan kemungkinan dan menyajikan ini adalah hipotesis yang paling mungkin. Jika mereka bayesian, mereka mengalikan kemungkinan dengan sebelumnya untuk setiap set nilai parameter dan memilih solusi yang memaksimalkan probabilitas posterior.

Jelas strategi ini tidak optimal karena model mengasumsikan aditivitas, dan akan kehilangan bahwa hipotesis yang benar adalah:

V = L*W*H + e

Edit: @Pinocchio

Mungkin seseorang tidak setuju dengan klaim bahwa pengujian hipotesis tidak optimal ketika tidak ada alasan rasional untuk memilih satu / beberapa fungsi (atau seperti yang Anda sebutkan: "kelas hipotesis") dari kemungkinan yang tak terhingga banyaknya. Tentu saja ini sepele benar, dan "optimal" dapat digunakan dalam arti terbatas "paling cocok mengingat fungsi biaya dan pilihan yang disediakan". Komentar itu membuatnya menjadi jawaban saya karena saya tidak suka bagaimana masalah spesifikasi model terpoles di catatan kelas Anda. Ini adalah masalah utama yang dihadapi sebagian besar pekerja ilmiah, yang afaik tidak ada algoritma.

Lebih jauh, saya tidak bisa memahami nilai-p, pengujian hipotesis, dll sampai saya mengerti sejarahnya, jadi mungkin itu akan membantu Anda juga. Ada banyak sumber kebingungan seputar pengujian hipotesis frequentist (saya tidak begitu akrab dengan sejarah varian bayesian).

Ada apa yang awalnya disebut "pengujian hipotesis" dalam pengertian Neyman-Pearson, "pengujian signifikansi" yang dikembangkan oleh Ronald Fisher, dan juga "hibrid" yang tidak terdefinisikan dengan tepat dari kedua strategi ini yang banyak digunakan di seluruh ilmu pengetahuan (yang dapat dengan mudah disebut menggunakan istilah di atas, atau "pengujian signifikansi nol hipotesis"). Meskipun saya tidak akan merekomendasikan mengambil halaman wikipedia sebagai otoritatif, banyak sumber yang membahas masalah ini dapat ditemukan di sini . Beberapa poin utama:

1. Penggunaan hipotesis "default" bukan bagian dari prosedur pengujian hipotesis asli, melainkan pengguna seharusnya menggunakan pengetahuan sebelumnya untuk menentukan model yang dipertimbangkan. Saya belum pernah melihat rekomendasi eksplisit oleh para pendukung model ini mengenai apa yang harus dilakukan jika kita tidak memiliki alasan khusus untuk memilih serangkaian hipotesis yang akan dibandingkan. Sering dikatakan bahwa pendekatan ini cocok untuk kontrol kualitas, ketika ada toleransi yang diketahui untuk membandingkan beberapa pengukuran.

2. Tidak ada hipotesis alternatif di bawah paradigma "pengujian signifikansi" Fisher, hanya hipotesis nol, yang dapat ditolak jika dianggap tidak mungkin diberikan data. Dari bacaan saya, Fisher sendiri tidak jelas tentang penggunaan hipotesis nol default. Saya tidak pernah bisa menemukan dia mengomentari masalah ini secara eksplisit, tetapi dia pasti tidak merekomendasikan bahwa ini adalah satu-satunya hipotesis nol.

3. Penggunaan hipotesis nol default kadang-kadang ditafsirkan sebagai "penyalahgunaan" pengujian hipotesis, tetapi merupakan pusat metode hybrid populer yang disebutkan. Argumennya adalah bahwa praktik ini sering merupakan "pendahuluan yang tidak berguna":

   "Peneliti merumuskan prediksi teoretis, umumnya arah efek ... Ketika data sebenarnya menunjukkan hasil arah yang diprediksi, ini tampaknya mengkonfirmasi hipotesis. Peneliti menguji hipotesis nol 'orang jerami' bahwa efeknya sebenarnya nol.Jika yang terakhir tidak dapat ditolak pada tingkat 0,05 (atau beberapa varian), maka konfirmasi yang jelas dari teori tidak dapat diklaim ... Kesalahan umum dalam jenis tes ini adalah untuk membingungkan tingkat signifikansi yang sebenarnya dicapai (untuk menolak orang jerami nol) dengan tingkat konfirmasi yang diperoleh untuk teori asli ... kekuatan konfirmasi sebenarnya tergantung pada [ketajaman prediksi numerik peneliti], bukan pada tingkat signifikansi yang dicapai untuk nol orang jerami. "

   Hipotesis nol menguji kontroversi dalam psikologi. David H Krantz. Jurnal Asosiasi Statistik Amerika; Desember 1999; 94, 448; 1372-1381

Video akademi Khan adalah contoh metode hibrida ini, dan bersalah karena melakukan kesalahan yang disebutkan dalam kutipan itu. Dari informasi yang tersedia dalam video itu, kami hanya dapat menyimpulkan bahwa tikus yang disuntikkan berbeda dari yang tidak disuntik, sementara video mengklaim kami dapat menyimpulkan "obat pasti memiliki beberapa efek". Sedikit refleksi akan membuat kita mempertimbangkan bahwa mungkin tikus yang diuji lebih tua dari yang tidak disuntikkan, dll. Kita perlu mengesampingkan penjelasan alternatif yang masuk akal sebelum mengklaim bukti untuk teori kita. Semakin spesifik prediksi teori , semakin sulit untuk mencapai ini.

Edit 2:

Mungkin mengambil contoh dari catatan diagnosa medis Anda akan membantu. Katakanlah seorang pasien bisa "normal" atau dalam "krisis hipertensi".

Kami memiliki informasi sebelumnya bahwa hanya 1% orang yang mengalami krisis hipertensi. Orang yang mengalami krisis hipertensi memiliki tekanan darah sistolik yang mengikuti distribusi normal dengan rata-rata = 180 dan sd = 10. Sementara itu, orang normal memiliki tekanan darah dari distribusi normal dengan rata-rata = 120, sd = 10. Biaya menilai seseorang normal ketika mereka adalah nol, biaya melewatkan diagnosis adalah 1, dan biaya karena efek samping akibat pengobatan adalah 0,2 terlepas dari apakah mereka dalam krisis atau tidak. Kemudian kode R berikut menghitung ambang (eta) dan rasio kemungkinan. Jika rasio kemungkinan lebih besar dari ambang yang kami putuskan untuk diperlakukan, jika kurang dari yang tidak kami lakukan:

#Prior probabilities
P0=.99 #Prior probability patient is normal
P1=1-P0 #Prior probability patient is in crisis

#Hypotheses
H0<-dnorm(x=50:250, mean=120, sd=10) #H0: Patient is normal
H1<-dnorm(x=50:250, mean=180, sd=10) #H1: Patient in hypertensive crisis

#Costs
C00=0 #Decide normal when normal
C01=1 #Decide normal when in crisis
C10=.2 #Decide crisis when normal
C11=.2 #Decide crisis when in crisis

#Threshold
eta=P0*(C10-C00)/ P1*(C01-C11)

#Blood Pressure Measurements
y<-rnorm(3, 150, 20)

#Calculate Likelihood of Each Datapoint Given Each Hypothesis
L0vec=dnorm(x=y, mean=120, sd=10) #Vector of Likelihoods under H0
L1vec=dnorm(x=y, mean=180, sd=10) #Vector of Likelihoods under H1

#P(y|H) is the product of the likelihoods under each hypothesis
L0<-prod(L0vec)
L1<-prod(L1vec)

#L(y) is the ratio of the two likelihoods
LikRatio<-L1/L0


#Plot
plot(50:250, H0, type="l", col="Green", lwd=4, 
     xlab=" Systolic Blood Pressure", ylab="Probability Density Given Model",
     main=paste0("L=",signif(LikRatio,3)," eta=", signif(eta,3)))
lines(50:250, H1, col="Red", lwd=4)
abline(v=y)

#Decision
if(LikRatio>eta){
  print("L > eta  ---> Decision: Treat Patient")
}else{
  print("L < eta  ---> Do Not Treat Patient")
}

Dalam skenario di atas, ambang eta = 15,84. Jika kita mengambil tiga pengukuran tekanan darah dan mendapatkan 139,9237, 125,2278, 190,3765, maka rasio kemungkinannya adalah 27,6 yang mendukung H1: Pasien dalam krisis hipertensi. Karena 27,6 lebih besar dari ambang yang akan kami pilih untuk diobati. Grafik menunjukkan hipotesis normal dalam warna hijau dan hipertensi dalam warna merah. Garis hitam vertikal menunjukkan nilai pengamatan.