Saya telah membaca lemma Neyman – Pearson dari buku Pengantar Teori Statistik oleh Mood, Graybill, dan Boes. Tapi saya belum mengerti lemma.

Adakah yang bisa menjelaskan lemma kepada saya dengan kata-kata sederhana? Apa isinya?

Neyman-Pearson Lemma: Misalkan $X_1,\ldots,X_n$ menjadi sampel acak dari , di mana adalah salah satu dari dua nilai yang diketahui dan , dan biarkan menjadi tetap.$f(x;\theta)$$\theta$$\theta_0$$\theta_1$$0<\alpha<1$

Biarkan menjadi konstanta positif dan menjadi subset dari yang memenuhi: \ text {dan} \ quad \ lambda \ ge \ quad k ^ * \ text {if} (x_1, \ ldots, x_n) \ in \ bilah C ^ * Kemudian tes \ gamma ^ * yang sesuai dengan wilayah kritis C ^ * adalah tes paling kuat untuk ukuran \ alpha dari \ mathscr H_0: \ theta = \ theta_0 versus \ mathscr H_1: \ theta = \ theta_1$k^*$$C^*$$\mathscr X$

$$\tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha$$ $$\tag 2 \lambda=\frac{L(\theta_0;x_1,\ldots,x_n)}{L(\theta_1;x_1,\ldots,x_n)} = \frac{L_0}{L_1} \le k^*\quad \text{if } (x_1,\ldots,x_n)\in C^*$$ $$\text{and}\quad \lambda\ge\quad k^* \text{ if } (x_1,\ldots,x_n)\in \bar C^*$$ $\gamma^*$$C^*$$\alpha$$\mathscr H_0:\theta=\theta_0$$\mathscr H_1:\theta=\theta_1$

Dinyatakan dalam kata-kata, saya telah memahami bahwa kedua kriteria tersebut menentukan

(1) P [menolak hipotesis nol | hipotesis nol benar] = tingkat signifikansi

(2) menolak hipotesis nol ketika rasio kemungkinan , beberapa konstanta positif jika jatuh di wilayah kritis$\lambda\le$$k^*$$(x_1,\ldots,x_n)$

Maka tes tersebut adalah tes paling kuat dari hipotesis sederhana .

• Mengapa hanya untuk hipotesis sederhana? Tidak bisakah itu untuk hipotesis komposit? Apakah penjelasan saya dalam kata-kata itu benar?

Saya pikir Anda memahami lemma dengan baik.

Mengapa itu tidak bekerja untuk alternatif komposit? Seperti yang Anda lihat dalam rasio kemungkinan, kita perlu memasukkan parameter untuk hipotesis alternatif. Jika alternatifnya adalah komposit, parameter mana yang akan Anda pasang?

Baru-baru ini saya menulis entri di blog linkedin yang menyatakan Neyman Pearson lemma dengan kata-kata sederhana dan memberikan contoh. Saya menemukan contoh membuka mata dalam arti memberikan intuisi yang jelas pada lemma. Seperti sering dalam probabilitas, ini didasarkan pada fungsi massa probabilitas diskrit sehingga mudah dilakukan daripada ketika bekerja dengan pdf. Juga, pertimbangkan saya mendefinisikan rasio kemungkinan sebagai kemungkinan hipotesis alternatif vs hipotesis nol, bertentangan dengan pernyataan lemma Anda. Penjelasannya sama, tetapi lebih sedikit daripada sekarang lebih besar dari. Saya harap ini membantu ...

Anda yang bekerja dalam analisis data dan telah melalui beberapa kursus statistik mungkin telah mengenal Neyman-Pearson lemma (NP-lemma). Pesannya sederhana, demonstrasi tidak terlalu banyak tetapi yang selalu saya temukan sulit adalah untuk mendapatkan perasaan yang masuk akal tentang apa itu. Membaca sebuah buku berjudul "Kesalahan Umum dalam Statistik" oleh PIGood dan JWHardin saya mendapat penjelasan dan contoh yang membantu saya mendapatkan firasat tentang lemma NP yang selalu saya lewatkan.

Dalam bahasa yang tidak 100% sempurna secara matematis, yang dikatakan Neyman-Pearson adalah bahwa tes paling kuat yang dapat dilakukan untuk memvalidasi hipotesis yang diberikan dalam tingkat signifikansi tertentu diberikan oleh wilayah penolakan yang dibuat oleh semua pengamatan yang mungkin dilakukan dari tes ini dengan rasio kemungkinan di atas ambang tertentu ... woahhh! Siapa bilang itu mudah!

Tetap tenang dan dekonstruksi lemma:

1. Hipotesis . Dalam statistik orang selalu bekerja dengan dua hipotesis bahwa tes statistik harus menolak atau tidak menolak. Ada hipotesis nol, yang tidak akan ditolak sampai bukti sampel yang menentangnya cukup kuat. Ada juga hipotesis alternatif, yang akan kita ambil jika nol tampaknya salah.
2. Kekuatan tes (alias sensitivitas) memberi tahu kita proporsi waktu mana kita akan dengan benar menolak hipotesis nol ketika itu salah. Kami menginginkan tes yang kuat, sehingga sebagian besar waktu kami menolak hipotesis nol kami benar!
3. Tingkat signifikansi dari suatu tes (alias false positive rate) memberi tahu kita proporsi waktu yang salah kita akan menolak hipotesis nol ketika itu benar. Kami ingin tingkat signifikansi kecil sehingga sebagian besar kali kami menolak hipotesis nol kami tidak salah!
4. Wilayah penolakan , mengingat semua hasil yang mungkin dari pengujian, wilayah penolakan mencakup hasil-hasil yang akan membuat kita menolak hipotesis nol demi manfaat alternatifnya.
5. Kemungkinan adalah probabilitas telah melihat hasil yang diamati dari tes mengingat bahwa hipotesis nol (Kemungkinan hipotesis nol) atau hipotesis alternatif (Kemungkinan hipotesis alternatif) benar.
6. Rasio kemungkinan, adalah rasio dari hipotesis kemungkinan alternatif dibagi dengan hipotesis nol kemungkinan. Jika hasil tes sangat diharapkan jika hipotesis nol benar versus yang alternatif, rasio kemungkinan harus kecil.

Cukup definisi! (walaupun jika Anda melihatnya dengan cermat, Anda akan menyadari bahwa mereka sangat berwawasan!). Mari kita pergi ke apa yang dikatakan Neyman dan Pearson: jika Anda ingin memiliki uji statistik terbaik dari sudut pandang kekuatannya, cukup tentukan wilayah penolakan dengan memasukkan hasil tes yang memiliki rasio kemungkinan tertinggi, dan terus tambahkan lebih banyak tes hasil sampai Anda mencapai nilai tertentu untuk berapa kali tes Anda akan menolak hipotesis nol ketika itu benar (tingkat signifikansi).

Mari kita lihat contoh di mana semoga semuanya akan datang bersama. Contohnya berdasarkan buku yang disebutkan di atas. Itu sepenuhnya dibuat oleh saya sendiri sehingga tidak boleh dipandang mencerminkan kenyataan atau pendapat pribadi.

Bayangkan seseorang ingin menentukan apakah seseorang mendukung penetapan kuota imigrasi (hipotesis nol) atau tidak (hipotesis alternatif) dengan menanyakan perasaannya versus Uni Eropa.

Bayangkan kami tahu distribusi probabilitas yang sebenarnya untuk kedua jenis orang ini terkait dengan jawaban untuk pertanyaan kami:

Mari kita bayangkan kita bersedia menerima kesalahan positif palsu sebesar 30%, yaitu, 30% dari waktu kita akan menolak hipotesis nol dan menganggap orang yang diwawancarai menentang kuota ketika dia benar-benar untuk mereka. Bagaimana kita membuat tes?

Menurut Neyman dan Pearson pertama-tama kita akan mengambil hasilnya dengan rasio kemungkinan tertinggi. Ini adalah jawaban "sangat suka Uni Eropa" dengan rasio 3. Dengan hasil ini, jika kita menganggap seseorang menentang kuota ketika dia berkata dia "sangat menyukai Uni Eropa", 10% dari waktu kita akan menugaskan untuk kuota orang bertentangan (signifikansi). Namun kami hanya akan mengklasifikasikan dengan benar terhadap kuota orang 30% dari waktu (kekuasaan) karena tidak semua orang di grup ini memiliki pendapat yang sama tentang UE.

Ini tampaknya merupakan hasil yang buruk sejauh menyangkut kekuasaan. Namun, tes ini tidak membuat banyak kesalahan dalam kesalahan klasifikasi untuk kuota orang (signifikansi). Karena kita lebih fleksibel dalam hal signifikansi, mari kita cari hasil tes selanjutnya yang harus kita tambahkan ke kantong jawaban yang menolak hipotesis nol (wilayah penolakan).

Jawaban berikutnya dengan rasio kemungkinan tertinggi adalah "seperti UE". Jika kita menggunakan jawaban "sangat suka" dan "seperti" Uni Eropa sebagai hasil pengujian yang memungkinkan kita untuk menolak hipotesis nol seseorang menjadi kuota, kita akan melakukan kesalahan klasifikasi untuk kuota orang yang bukan 30% dari waktu (10% dari "sangat suka" dan 20% dari "suka") dan kami akan mengklasifikasikan dengan benar terhadap kuota orang 65% dari waktu (30% dari "sangat suka" dan 35% dari "suka"). Dalam jargon statistik: signifikansi kami meningkat dari 10% menjadi 30% (buruk!) Sementara kekuatan pengujian kami meningkat dari 30% menjadi 65% (baik!).

Ini adalah situasi yang dimiliki semua tes statistik. Tidak ada sesuatu seperti makan siang gratis bahkan dalam statistik! Jika Anda ingin meningkatkan kekuatan tes Anda, Anda melakukannya dengan mengorbankan peningkatan tingkat signifikansi. Atau dengan istilah yang lebih sederhana: Anda ingin mengklasifikasikan orang-orang baik dengan lebih baik, Anda akan melakukannya dengan mengorbankan lebih banyak orang jahat yang terlihat baik!

Pada dasarnya, sekarang kita selesai! Kami menciptakan tes paling kuat yang kami bisa dengan data yang diberikan dan tingkat signifikansi 30% dengan menggunakan label "sangat suka" dan "suka" untuk menentukan apakah seseorang menentang kuota ... apakah kami yakin?

Apa yang akan terjadi jika kita memasukkan langkah kedua setelah jawaban "sangat suka" dipilih, jawaban "acuh tak acuh" dan bukannya "suka"? Signifikansi tes akan sama dari sebelumnya pada 30%: 10% untuk kuota orang menjawab "benar-benar" suka dan 20% untuk kuota orang menjawab "tidak suka". Kedua tes akan sama buruknya dengan kesalahan klasifikasi untuk individu kuota. Namun, kekuatannya akan bertambah buruk! Dengan tes baru kami akan memiliki kekuatan 50%, bukan 65% yang kami miliki sebelumnya: 30% dari "sangat suka" dan 20% dari "acuh tak acuh". Dengan tes baru kami akan kurang akurat dalam mengidentifikasi terhadap individu kuota!

Siapa yang membantu di sini? Rasio kemungkinan Neyman-Orang ide luar biasa! Mengambil setiap kali jawaban dengan rasio kemungkinan tertinggi memastikan kami bahwa kami memasukkan dalam pengujian baru sebanyak mungkin kekuatan (pembilang besar) sambil menjaga signifikansi terkendali (penyebut kecil)!

Isi

(Pada bagian ini saya hanya akan menjelaskan pengujian hipotesis, ketik satu dan dua kesalahan, dll, dengan gaya saya sendiri. Jika Anda merasa nyaman dengan materi ini, lanjutkan ke bagian berikutnya)

Lemma Neyman-Pearson muncul dalam masalah pengujian hipotesis sederhana . Kami memiliki dua distribusi probabilitas yang berbeda pada ruang bersama $\Omega$ : $P_0$ dan $P_1$ , yang disebut nol dan hipotesis alternatif. Berdasarkan pengamatan tunggal $\omega\in\Omega$ , kita harus membuat dugaan yang mana dari dua distribusi probabilitas yang berlaku. Sebuah tes karena itu fungsi yang sama$\omega$ memberikan tebakan baik "hipotesis nol" atau "hipotesis alternatif". Sebuah tes jelas dapat diidentifikasi dengan wilayah tempat ia mengembalikan "alternatif", jadi kami hanya mencari subset (peristiwa) dari ruang probabilitas.

Biasanya dalam aplikasi, hipotesis nol sesuai dengan beberapa jenis status quo, sedangkan hipotesis alternatif adalah beberapa fenomena baru yang Anda coba buktikan atau tolak adalah nyata. Misalnya, Anda mungkin menguji seseorang untuk kekuatan psikis. Anda menjalankan tes standar dengan kartu-kartu dengan garis berlekuk-lekuk atau tidak, dan membuat mereka menebak beberapa kali. Hipotesis nol adalah bahwa mereka akan mendapatkan tidak lebih dari satu dari lima yang benar (karena ada lima kartu), hipotesis alternatif adalah bahwa mereka psikis dan mungkin mendapatkan yang lebih benar.

Yang ingin kami lakukan adalah meminimalkan kemungkinan melakukan kesalahan. Sayangnya, itu gagasan yang tidak berarti. Ada dua cara Anda bisa membuat kesalahan. Entah hipotesis nol itu benar, dan Anda sampel $\omega$ di wilayah "alternatif" tes Anda, atau hipotesis alternatif itu benar, dan Anda sampel wilayah "nol". Sekarang, jika Anda memperbaiki wilayah $A$ dari ruang probabilitas (tes), maka angka $P_0(A)$ dan $P_1(A^{c})$, probabilitas untuk membuat kedua jenis kesalahan tersebut, benar-benar terdefinisi dengan baik, tetapi karena Anda tidak memiliki gagasan sebelumnya tentang "probabilitas bahwa hipotesis nol / alternatif itu benar", Anda tidak bisa mendapatkan "probabilitas" bermakna dari kedua jenis kesalahan". Jadi ini adalah situasi yang cukup khas dalam matematika di mana kita menginginkan yang "terbaik" dari beberapa kelas objek, tetapi ketika Anda melihat lebih dekat, tidak ada yang "terbaik". Sebenarnya, apa yang kami coba lakukan adalah meminimalkan $P_0(A)$ sambil memaksimalkan $P_1(A)$ , yang jelas-jelas bertentangan dengan tujuan.

Dengan mengingat contoh tes kemampuan psikis, saya suka merujuk pada jenis kesalahan di mana nol itu benar, tetapi Anda menyimpulkan alternatif yang benar seperti " khayalan " (Anda percaya psikis orang itu tetapi dia tidak), dan jenis kesalahan lain seperti " kelalaian ".

The Lemma

Pendekatan dari lemma Neyman-Pearson adalah sebagai berikut: mari kita ambil probabilitas maksimal khayalan $\alpha$ yang bersedia kita toleransi, dan kemudian temukan tes yang memiliki probabilitas minimal dilupakan sambil memenuhi batas atas itu. Hasilnya adalah bahwa tes tersebut selalu memiliki bentuk uji rasio kemungkinan:

Dalil (Neyman-Pearson lemma)

$L_0, L_1$$\alpha > 0$$A\subseteq \Omega$$P_1(A)$$P_0(A)\leq \alpha$

$$A=\{\omega\in \Omega \mid \frac{L_1(\omega)}{L_0(\omega)} \geq K \}$$

$K>0$ $K$$P_1(A)\geq P_1(B)$$B$$P_0(B)\leq P_0(A)$

$K$$P_0(A)=\alpha$

$P_1$$P_0$ .

$P_0$$P_1$$\mathbb R^n$$P_0(A)$$P_0$$P_1$$P_0$$P_1$$P_0$

Membeli tanah

Karena itu jantung lemma adalah sebagai berikut:

$\mu$$\Omega$$f$$\Omega$$\alpha > 0$$A$$\mu(A)\leq\alpha$$\int_A fd\mu$

$$\{\omega\in\Omega\mid f(\omega)\geq K\}$$ $K>0$$\int f$$B$

$\alpha$$f$$\int f$$\alpha$$\mu$$P_0$$f$$P_1$$P_0$$L_1/L_0$

$A$$B$$B'$$A$$B'$$B$$A$$B$$B'$$x\in A$$f(y)>f(x)$$y$$A$$x$$y$$A$$f^{-1}([K, +\infty))$$K$