Metode apa yang mensimulasikan pvalues ​​dari pengambilan sampel ulang dari data

Beberapa waktu yang lalu saya mengajukan pertanyaan tentang menghubungkan waktu antara prangko waktu dan menerima tanggapan dari Peter Ellis yang mengatakan saya bisa menghitung jarak rata-rata antara kode ...

Ini sudah memberi Anda perasaan tentang perilaku mana yang dikelompokkan bersama, tetapi Anda juga harus memeriksa bahwa ini tidak masuk akal hanya karena kebetulan.

Untuk memeriksa itu, saya akan membuat data simulasi yang dihasilkan oleh model di bawah hipotesis nol tidak ada hubungan. Melakukan ini akan memerlukan menghasilkan data untuk setiap waktu perilaku dari model nol yang masuk akal, mungkin didasarkan pada resampling waktu antara setiap peristiwa (misalnya antara setiap menguap) untuk membuat set perangko waktu baru untuk peristiwa model nol hipotetis. Kemudian hitung statistik indikator yang sama untuk model nol ini dan bandingkan dengan indikator dari data asli Anda. Dengan mengulangi simulasi ini beberapa kali, Anda bisa mengetahui apakah indikator dari data Anda cukup berbeda dari data simulasi model nol (misalnya, waktu rata-rata yang lebih kecil dari setiap menguap ke bentangan terdekat, misalnya) untuk dihitung sebagai bukti signifikan secara statistik terhadap hipotesis nol Anda.

Saya akhirnya memiliki keahlian untuk melakukan ini dan melakukannya di R tetapi saya tidak tahu apa yang disebut metode atau teknik ini sehingga saya dapat (a) belajar lebih banyak tentang itu (b) berbicara dengan cerdas tentang teori di balik apa yang saya sedang saya lakukan.

Beberapa orang menyarankan ini disebut tes permutasi, yang lain mengatakan mirip tetapi tidak sama dengan bootstrap dan beberapa mengatakan kepada saya itu terkait dengan pengambilan sampel ulang Monte Carlo.

Apa metode resampling ini, mengingat NULL BENAR, yang disebut? Jika Anda memiliki satu atau dua referensi untuk mencadangkan respons Anda yang mungkin membantu tetapi tidak perlu.

Bagiku Ellis bisa merujuk pada tiga gagasan berbeda di sini. Pertama dia mengatakan sesuatu tentang membuat "data simulasi yang dihasilkan oleh model di bawah hipotesis nol tidak ada hubungan." Saya akan menyebutnya bentuk bootstrap parametrik . Lalu dia mengatakan bahwa ini akan "mungkin didasarkan pada resampling waktu antara setiap peristiwa (misalnya antara setiap menguap) untuk membuat set perangko waktu baru untuk peristiwa model nol hipotetis." Yang, mari kita perjelas di sini, untuk melakukan ini bukan untuk "membuat data simulasi." Kami sebaliknya, jika saya mengerti dengan benar, melakukan resampling dari data kami yang sebenarnya diamati. Prosedur terakhir ini bisa berupa tes permutasi atau bootstrap nonparametrik ,

Saya kira saya harus mengatakan beberapa kata lagi tentang bootstrap parametrik, tes permutasi, dan bootstrap nonparametrik.

Biasanya bootstrap parametrik dilakukan dengan mensimulasikan berdasarkan pada model yang diestimasikan sebenarnya, dan tidak berdasarkan pada model hipotetis yang sama seperti model yang diestimasikan kecuali hipotesis nol diasumsikan benar, seperti yang Ellis nampaknya sarankan pada awalnya. Dengan "mensimulasi data" Maksud saya seperti contoh: model saya menyatakan bahwa data saya berasal dari dua kelompok, masing-masing dengan distribusi normal, dengan cara$\mu_1$ dan $\mu_2$, masing-masing, dan standar deviasi $\sigma$, jadi saya akan menghasilkan banyak set data yang memuaskan ini dan menggunakan distribusi statistik uji yang dihitung dari masing-masing dataset disimulasikan sebagai distribusi sampling saya. Catatan, saya membuat data ini menggunakan sesuatu seperti rnorm()di R, tidak secara langsung menggunakan data yang saya amati. Sekarang, orang tentu bisa melakukan prosedur ini dan mendapatkan semacam distribusi sampel di bawah hipotesis nol, katakanlah, tidak ada perbedaan dalam kelompok berarti - kita hanya akan berasumsi$\mu_1=\mu_2$di semua set data yang disimulasikan, bertentangan dengan apa yang sebenarnya kami amati - dan dengan cara ini kami mendapatkan nilai p bootstrap (daripada interval kepercayaan bootstrap, yang merupakan apa yang diberikan metode sebelumnya / tradisional kepada Anda). Sekali lagi, saya hanya akan menyebutnya cara mendapatkan nilai-p melalui bootstrap parametrik.

Tes permutasi, di sisi lain, melibatkan pengocokan data yang diamati berulang-ulang dengan cara yang konsisten dengan hipotesis nol. Jadi misalnya, jika hipotesis nol menyiratkan bahwa penugasan grup tidak membuat perbedaan dalam hal arti grup, Anda dapat secara acak mengocok label grup di antara semua pengamatan Anda berkali-kali dan melihat perbedaan berarti apa yang akan Anda dapatkan untuk semua cara pengocokan yang mungkin. lewat sini. Dan kemudian Anda akan melihat di mana dalam distribusi statistik uji dihitung dari kumpulan data acak ini kebohongan statistik Anda yang sebenarnya diamati. Perhatikan bahwa ada sejumlah cara terbatas (tetapi biasanya besar) yang bisa Anda kocok dari data yang sebenarnya Anda amati.

Akhirnya, bootstrap nonparametrik sangat mirip dengan tes permutasi, tetapi kami melakukan resample terhadap data yang diamati dengan penggantianuntuk mencoba lebih dekat dengan "populasi" nilai tak terbatas yang mungkin diambil oleh data kami. Ada banyak, lebih banyak cara untuk menguji ulang dari data Anda dengan penggantian daripada mengacak data Anda (meskipun secara teknis juga terbatas dalam praktiknya). Sekali lagi, mirip dengan bootstrap parametrik, ini biasanya dilakukan tidak di bawah hipotesis nol, tetapi di bawah model yang tersirat oleh data yang diamati, menghasilkan interval kepercayaan di sekitar statistik uji yang diamati, bukan nilai-p. Tetapi orang tentu bisa membayangkan melakukan ini di bawah hipotesis nol seperti yang disarankan Ellis dan mendapatkan nilai-p dengan cara ini. Sebagai contoh bootstrap nonparametrik di sini (dengan cara tradisional, yaitu tidakdi bawah hipotesis nol) menggunakan contoh perbedaan-dalam-kelompok-cara yang sama yang saya gunakan dalam paragraf bootstrap parametrik, untuk melakukan ini kita akan melakukan resample dengan mengganti pengamatan dalam setiap kelompok berkali-kali tetapi tidak mencampurkan pengamatan antar kelompok (tidak seperti dalam permutasi). uji), dan bangun distribusi sampel perbedaan rata-rata kelompok yang kita dapatkan dengan cara ini.