Dua metode tes signifikansi bootstrap

Menggunakan bootstrap, saya menghitung nilai p dari tes signifikansi menggunakan dua metode:

resampling di bawah hipotesis nol dan menghitung hasil setidaknya paling ekstrim sebagai hasil yang berasal dari data asli
resampling di bawah hipotesis alternatif dan menghitung hasil setidaknya sama jauh dari hasil asli sebagai nilai yang sesuai dengan hipotesis nol

Saya percaya bahwa 1 ^st pendekatan adalah sepenuhnya benar karena mengikuti definisi nilai ap. Saya kurang yakin tentang yang kedua, tetapi biasanya memberikan hasil yang sangat mirip dan mengingatkan saya pada tes Wald.

Apakah saya benar? Apakah kedua metode ini benar? Apakah identik (untuk sampel besar)?

^{Contoh untuk dua metode (suntingan setelah pertanyaan DWin dan jawaban Erik):

Contoh 1. Mari kita membuat tes bootstrap mirip dengan dua uji T sampel. Metode 1 akan sampel ulang dari satu sampel (diperoleh dengan menggabungkan dua yang asli). Metode 2 akan melakukan sampel ulang dari kedua sampel secara independen.

Contoh 2. Mari kita buat tes bootstrap korelasi antara x₁ ... xₐ dan y₁ ... yₐ. Metode 1 akan menganggap tidak ada korelasi dan sampel ulang memungkinkan untuk (xₑ, yₔ) pasangan mana e ≠ ə. Metode 2 akan mengkompilasi sampel bootstrap dari pasangan asli (x, y).

Contoh 3. Mari kita membuat tes bootstrap untuk memeriksa apakah koin itu adil. Metode 1 akan membuat pengaturan sampel acak Pr (head) = Pr (tail) = ½. Metode 2 akan menguji ulang sampel nilai kepala / ekor eksperimental dan membandingkan proporsinya dengan ½.}

statistical-significance bootstrap p-value

— pemenang
sumber

"Hipotesis alternatif" yang mana? Dalam nomenklatur Nelayan tradisional tidak akan ada hanya satu alternatif tetapi keluarga alternatif tak terbatas. Dan bagaimana Anda "mencicipi di bawah hipotesis" dalam hal ini? Pengambilan sampel dilakukan pada data. hipotesisnya adalah tentang suatu parameter.

— DWin

@DWin: Terima kasih, silakan lihat contoh saya ditambahkan ke pertanyaan saya.

— winerd

Pendekatan pertama adalah klasik dan dapat dipercaya tetapi tidak selalu dapat digunakan. Untuk mendapatkan sampel bootstrap dengan asumsi hipotesis nol, Anda harus bersedia untuk mengasumsikan distribusi teoretis untuk dipegang ( ini adalah opsi pertama Anda ) atau untuk menganggap bahwa statistik minat Anda memiliki bentuk distribusi yang sama ketika bergeser ke hipotesis nol ( opsi kedua Anda) ). Sebagai contoh, dengan asumsi biasa, distribusi-t memiliki bentuk yang sama ketika bergeser ke mean lain. Namun, ketika mengubah frekuensi nol 0,5 dari distribusi binomial menjadi 0,025 juga akan berubah bentuk.

Dalam pengalaman saya, jika tidak, dalam hal Anda bersedia membuat asumsi-asumsi ini, Anda seringkali juga memiliki pilihan lain. Dalam contoh Anda 1) di mana Anda tampaknya menganggap bahwa kedua sampel bisa berasal dari populasi basis yang sama tes permutasi akan lebih baik menurut saya.

$\alpha$ $(1-\alpha)$

Ini adalah metode yang sangat fleksibel dan berlaku untuk banyak tes. Namun, sangat penting untuk membuat interval kepercayaan bootstrap yang baik dan tidak hanya menggunakan Wald-approximations atau metode persentil. Beberapa info ada di sini: Interval kepercayaan berbasis-bootstrap

— Erik
sumber

Jawaban bagus. Jadi opsi kedua memerlukan simetrisitas juga bukan? Asumsikan rata-rata interval kepercayaan Anda lebih besar dari 0 dan Anda mempertimbangkan H bukan berarti 0. Kemudian, melihat di mana 0 berada dalam interval kepercayaan Anda berbeda dengan melihat seberapa ekstrim nilai rata-rata dengan asumsi H tidak ( ini ada dalam dua arah yang berbeda, jika Anda menganggap Anda menggeser interval kepercayaan).

— michal

@ erik baru saja mulai hadiah pada pertanyaan serupa - yang pada dasarnya merupakan versi panjang dari komentar di atas - kapan opsi 2 dapat digunakan dan dalam kondisi apa? stats.stackexchange.com/questions/175659/…

— Xavier Bourret Sicotte