Mengapa statistik parametrik lebih disukai daripada nonparametrik?

Dapatkah seseorang menjelaskan kepada saya mengapa ada orang yang memilih parametrik daripada metode statistik nonparametrik untuk pengujian hipotesis atau analisis regresi?

Dalam pikiran saya, ini seperti pergi untuk arung jeram dan memilih arloji tahan air, karena Anda mungkin tidak membuatnya basah. Mengapa tidak menggunakan alat yang berfungsi pada setiap kesempatan?

Jarang jika pernah tes parametrik dan tes non-parametrik sebenarnya memiliki nol yang sama. Parametrik -test menguji mean dari distribusi, dengan asumsi dua momen pertama ada. Tes peringkat Wilcoxon tidak mengasumsikan momen apa pun, dan sebagai gantinya menguji kesetaraan distribusi. Parameter tersiratnya adalah fungsi distribusi yang aneh, probabilitas bahwa pengamatan dari satu sampel lebih rendah daripada pengamatan dari yang lain. Anda dapat mengurutkan perbandingan antara dua tes di bawah nol yang ditentukan sepenuhnya dari distribusi yang identik ... tetapi Anda harus mengakui bahwa kedua tes tersebut menguji hipotesis yang berbeda.$t$

Informasi yang dibawa oleh uji parametrik beserta asumsinya membantu meningkatkan kekuatan tes. Tentu saja informasi itu lebih baik, tetapi ada beberapa domain pengetahuan manusia saat ini di mana informasi pendahuluan seperti itu tidak ada. Pengecualian menarik yang secara eksplisit mengatakan "Saya tidak ingin menganggap apa pun" adalah ruang sidang di mana metode non-parametrik terus menjadi sangat populer - dan itu masuk akal untuk aplikasi tersebut. Mungkin ada alasan bagus, maksudnya, bahwa Phillip Good menulis buku-buku bagus tentang statistik non-parametrik dan statistik ruang sidang .

Ada juga situasi pengujian di mana Anda tidak memiliki akses ke mikrodata yang diperlukan untuk tes nonparametrik. Misalkan Anda diminta membandingkan dua kelompok orang untuk mengukur apakah yang satu lebih gemuk daripada yang lain. Di dunia yang ideal, Anda akan memiliki pengukuran tinggi dan berat badan untuk semua orang, dan Anda bisa membentuk tes permutasi yang dikelompokkan berdasarkan tinggi badan. Dalam dunia yang kurang ideal (yaitu, nyata), Anda mungkin hanya memiliki tinggi rata-rata dan berat rata-rata di setiap kelompok (atau mungkin beberapa rentang atau varian karakteristik ini di atas rata-rata sampel). Taruhan terbaik Anda kemudian menghitung BMI rata-rata untuk setiap kelompok dan membandingkannya jika Anda hanya memiliki sarana; atau asumsikan bivariat normal untuk tinggi dan berat badan jika Anda memiliki variasi dan sarana (Anda mungkin harus mengambil korelasi dari beberapa data eksternal jika tidak disertakan dengan sampel Anda),

Seperti yang ditulis orang lain: jika prasyarat dipenuhi, uji parametrik Anda akan lebih kuat daripada yang nonparametrik.

Dalam analogi arloji Anda, yang tahan air akan jauh lebih akurat kecuali basah. Misalnya, arloji tahan air Anda mungkin dimatikan satu jam dengan cara apa pun, sedangkan arloji non-air akan akurat ... dan Anda perlu naik bus setelah perjalanan arung jeram Anda. Dalam kasus seperti itu, masuk akal jika Anda membawa arloji yang tidak kedap air bersama Anda dan memastikannya tidak menjadi basah.

Poin bonus: metode nonparametrik tidak selalu mudah. Ya, alternatif uji permutasi pada saat pengujian sederhana. Tetapi alternatif nonparametrik untuk model linier campuran dengan beberapa interaksi dua arah dan efek acak bersarang sedikit lebih sulit untuk diatur daripada panggilan sederhana untuk nlme(). Saya telah melakukannya, menggunakan tes permutasi, dan dalam pengalaman saya, nilai p dari tes parametrik dan permutasi selalu sangat berdekatan, bahkan jika residu dari model parametrik cukup tidak normal. Tes parametrik seringkali secara mengejutkan tangguh terhadap keberangkatan dari prasyaratnya.

Sementara saya setuju bahwa dalam banyak kasus, teknik non-parametrik menguntungkan, ada juga situasi di mana metode parametrik lebih berguna.

Mari kita fokus pada diskusi "two-sample t-test versus Wilcoxon rank sum test" (jika tidak kita harus menulis seluruh buku).

1. Dengan ukuran kelompok kecil 2-3, hanya uji-t yang secara teoritis dapat mencapai nilai p di bawah 5%. Dalam biologi dan kimia, ukuran kelompok seperti ini tidak biasa. Tentu saja sulit untuk menggunakan uji-t dalam pengaturan seperti itu. Tapi mungkin itu lebih baik daripada tidak sama sekali. (Poin ini terkait dengan masalah yang dalam keadaan sempurna, uji-t memiliki kekuatan lebih dari tes Wilcoxon).
2. Dengan ukuran kelompok yang besar, juga uji-t dapat dilihat sebagai non-parametrik berkat Central Limit Theorem.
3. Hasil uji-t sejalan dengan interval kepercayaan siswa untuk perbedaan rata-rata.
4. Jika varians sangat bervariasi antar kelompok, maka uji-t versi Welch mencoba untuk memperhitungkannya, sementara uji jumlah peringkat Wilcoxon dapat gagal parah jika cara harus dibandingkan (misalnya probabilitas kesalahan jenis pertama jauh berbeda dari tingkat nominal). ).

Dalam pengujian hipotesis, tes nonparametrik sering menguji hipotesis yang berbeda, yang merupakan salah satu alasan mengapa seseorang tidak selalu dapat hanya mengganti tes nonparametrik dengan hipotesis parametrik.

Lebih umum, prosedur parametrik menyediakan cara memaksakan struktur pada masalah yang tidak terstruktur. Ini sangat berguna dan dapat dilihat sebagai semacam penyederhanaan heuristik daripada keyakinan bahwa model itu benar. Ambil contoh masalah memprediksi respons kontinu berdasarkan vektor prediktor menggunakan beberapa fungsi regresi (bahkan dengan asumsi bahwa fungsi tersebut ada adalah semacam pembatasan parametrik). Jika kita sama sekali tidak berasumsi tentang$y$$x$$f$$f$maka sama sekali tidak jelas bagaimana kita dapat melanjutkan dalam memperkirakan fungsi ini. Himpunan jawaban yang mungkin perlu kita cari terlalu besar. Tetapi jika kita membatasi ruang kemungkinan jawaban untuk (misalnya) himpunan fungsi linear , maka kita sebenarnya dapat mulai membuat kemajuan. Kita tidak perlu percaya bahwa model memegang persis, kita hanya membuat perkiraan karena kebutuhan untuk sampai pada beberapa jawaban, namun tidak sempurna.$f(x) = \sum_{j=1}^{p} \beta_j x_j$

Model semiparametrik memiliki banyak keunggulan. Mereka menawarkan tes seperti tes Wilcoxon sebagai kasus khusus, tetapi memungkinkan estimasi rasio efek, kuantil, sarana, dan probabilitas pelampauan. Mereka meluas ke data longitudinal dan disensor. Mereka kuat di ruang-Y dan transformasi invarian kecuali untuk memperkirakan cara. Lihat tautan http://biostat.mc.vanderbilt.edu/rms ke handout kursus untuk contoh / studi kasus terperinci.

Berbeda dengan metode parametrik penuh ( uji- , regresi berganda biasa, model efek campuran, model survival parametrik, dll.), Metode semiparametrik untuk ordinal atau kontinu tidak menganggap apa-apa tentang distribusi untuk diberikan , bahkan tidak bahwa distribusi unimodal atau lancar. Distribusi bahkan mungkin memiliki lonjakan parah di dalamnya atau di batas-batas. Model semiparametrik hanya mengasumsikan koneksi (misalnya, eksponensial dalam kasus model Cox) antara distribusi untuk dua pengaturan kovariat yang berbeda dan$t$$Y$$Y$$X$$X_{1}$$X_{2}$. Contohnya termasuk model peluang proporsional (kasus khusus: Wilcoxon dan Kruskal-Wallis) dan model bahaya proporsional (kasus khusus: log-rank dan stratified log-rank test).

Efeknya, model semiparametrik memiliki banyak intersep. Penyadapan ini mengkode distribusi nonparametrik. Namun, ini tidak menimbulkan masalah dengan overparameterization.$Y$

Di antara sejumlah jawaban yang diberikan, saya juga akan memperhatikan statistik Bayesian. Beberapa masalah tidak dapat dijawab dengan kemungkinan saja. Seorang Frequentist menggunakan penalaran kontrafaktual di mana "probabilitas" mengacu pada alam semesta alternatif dan kerangka semesta alternatif tidak masuk akal sejauh menyimpulkan keadaan individu, seperti rasa bersalah atau tidak bersalah dari seorang penjahat, atau apakah bottlenecking frekuensi gen dalam suatu spesies yang terpapar oleh perubahan lingkungan besar-besaran menyebabkan kepunahannya. Dalam konteks Bayesian, probabilitas adalah "kepercayaan", bukan frekuensi, yang dapat diterapkan pada apa yang sudah diendapkan.

Sekarang, sebagian besar metode Bayesian membutuhkan model probabilitas menentukan sepenuhnya untuk sebelum dan hasilnya. Dan, sebagian besar model probabilitas ini adalah parametrik. Konsisten dengan apa yang dikatakan orang lain, ini tidak harus tepat untuk menghasilkan ringkasan data yang bermakna. "Semua model salah, beberapa model berguna."

Tentu saja ada metode Bayesian nonparametrik. Ini memiliki banyak kerutan statistik dan, secara umum, membutuhkan data populasi yang hampir komprehensif untuk digunakan secara bermakna.

Satu-satunya alasan saya menjawab terlepas dari semua jawaban baik di atas adalah bahwa tidak ada yang meminta perhatian pada alasan # 1 kami menggunakan tes parametrik (setidaknya dalam analisis data fisika partikel). Karena kita tahu parametriisasi data. Duh! Itu keuntungan besar. Anda mendidihkan ratusan, ribuan, atau jutaan titik data menjadi beberapa parameter yang Anda pedulikan dan uraikan distribusi Anda. Ini memberi tahu Anda fisika yang mendasarinya (atau ilmu apa pun yang memberi Anda data Anda).

Tentu saja, jika Anda tidak tahu kepadatan probabilitas yang mendasari maka Anda tidak punya pilihan: gunakan tes non-parametrik. Tes non-parametrik memang memiliki kelebihan yaitu tidak memiliki prasangka yang sudah ada sebelumnya, tetapi bisa lebih sulit untuk diterapkan - kadang-kadang jauh lebih sulit.

Statistik nonparametrik memiliki masalah sendiri! Salah satunya adalah penekanan pada pengujian hipotesis, sering kita membutuhkan estimasi dan interval kepercayaan, dan mendapatkannya dalam model rumit dengan nonparametrik adalah --- rumit. Ada posting blog yang sangat bagus tentang ini, dengan diskusi, di http://andrewgelman.com/2015/07/13/dont-do-the-wilcoxon/ Diskusi mengarah ke posting lain ini, http: // notstatschat. tumblr.com/post/63237480043/rock-paper-scissors-wilcoxon-test , yang direkomendasikan untuk sudut pandang yang sangat berbeda pada Wilcoxon. Versi singkatnya adalah: Wilcoxon (dan tes peringkat lainnya) dapat menyebabkan nontransitivitas.

Saya akan mengatakan bahwa statistik non-parametrik lebih umum berlaku dalam arti bahwa mereka membuat asumsi kurang dari statistik parametrik.

Namun demikian, jika seseorang menggunakan statistik parametrik dan asumsi yang mendasarinya terpenuhi, maka statistik paramatrik akan lebih kuat daripada non-parametrik.

Statistik parametrik seringkali merupakan cara untuk menggabungkan pengetahuan eksternal [ke data]. Misalnya, Anda tahu bahwa distribusi kesalahan adalah normal, dan pengetahuan ini berasal dari pengalaman sebelumnya atau dari pertimbangan lain dan bukan dari kumpulan data. Dalam hal ini, dengan mengasumsikan distribusi normal Anda memasukkan pengetahuan eksternal ini ke dalam estimasi parameter Anda, yang harus meningkatkan estimasi Anda.

Pada analogi arloji Anda. Hari-hari ini hampir semua jam tangan tahan air kecuali untuk potongan khusus dengan perhiasan atau bahan yang tidak biasa seperti kayu. Alasan untuk memakainya adalah karena: mereka istimewa. Jika Anda bermaksud tahan air maka banyak jam tangan berpakaian tidak tahan air. Alasan untuk memakainya sekali lagi adalah fungsinya: Anda tidak akan memakai arloji penyelamat dengan rangkaian dan dasi. Juga, hari-hari ini banyak jam tangan telah dibuka kembali sehingga Anda dapat menikmati melihat gerakan melalui kristal. Biasanya, arloji ini biasanya tidak kedap air.

Ini bukan skenario pengujian hipotesis, tetapi ini mungkin contoh yang baik untuk menjawab pertanyaan Anda: mari pertimbangkan analisis pengelompokan. Ada banyak metode pengelompokan "non-parametrik" seperti pengelompokan hierarkis, K-means dll., Tetapi masalahnya selalu bagaimana menilai apakah solusi pengelompokan Anda "lebih baik", daripada solusi lain yang mungkin (dan seringkali ada beberapa kemungkinan solusi) . Setiap algoritma memberi Anda yang terbaik yang bisa didapat, namun bagaimana Anda tahu jika tidak ada yang lebih baik ..? Sekarang, ada juga pendekatan parametrik untuk pengelompokan, yang disebut pengelompokan berbasis model, seperti Model Campuran Hingga. Dengan FMM Anda membuat model statistik yang menggambarkan distribusi data Anda dan menyesuaikannya dengan data. Ketika Anda memiliki model, Anda dapat menilai seberapa besar kemungkinan data Anda diberikan pada model ini, Anda dapat menggunakan tes rasio kemungkinan, membandingkan AIC, dan menggunakan beberapa metode lain untuk memeriksa kecocokan model dan perbandingan model. Algoritma pengelompokan non-parametrik hanya mengelompokkan data menggunakan beberapa kriteria kesamaan, sementara dengan menggunakan FMM memungkinkan Anda untuk menggambarkan dan mencoba memahami data Anda, memeriksa seberapa baik data itu cocok, membuat prediksi ... Dalam praktiknya pendekatan non-parametrik sederhana, bekerja out-of-the-box dan cukup bagus, sementara FMM bisa menjadi masalah, tapi tetap saja, pendekatan berbasis model sering memberi Anda output yang lebih kaya.

Prediksi dan perkiraan data baru seringkali sangat sulit atau tidak mungkin untuk model non-parametrik. Sebagai contoh, saya dapat memperkirakan jumlah klaim garansi untuk 10 tahun ke depan menggunakan Weibull atau Lognormal survival model, namun ini tidak mungkin menggunakan model Cox atau Kaplan-Meier.

Sunting: Biarkan saya menjadi sedikit lebih jelas. Jika suatu perusahaan memiliki produk cacat maka mereka sering tertarik memproyeksikan tingkat klaim garansi masa depan dan CDF berdasarkan klaim garansi saat ini dan data penjualan. Ini dapat membantu mereka memutuskan apakah penarikan diperlukan atau tidak. Saya tidak tahu bagaimana Anda melakukan ini menggunakan model non-parametrik.

Jujur saya percaya bahwa tidak ada jawaban yang tepat untuk pertanyaan ini. Dilihat dari jawaban yang diberikan, konsensus adalah bahwa tes parametrik lebih kuat daripada padanan nonparametrik. Saya tidak akan menentang pandangan ini tetapi saya melihatnya lebih sebagai sudut pandang hipotetis daripada faktual karena ini bukan sesuatu yang diajarkan secara eksplisit di sekolah dan tidak ada peer reviewer yang akan memberi tahu Anda "makalah Anda ditolak karena Anda menggunakan tes non-parametrik". Pertanyaan ini adalah tentang sesuatu yang dunia statistik tidak dapat menjawab dengan jelas tetapi telah diterima begitu saja.

Pendapat pribadi saya adalah bahwa preferensi parametrik atau nonparametrik lebih berkaitan dengan tradisi daripada yang lain (karena tidak ada istilah yang lebih baik). Teknik parametrik untuk pengujian dan prediksi ada terlebih dahulu dan memiliki sejarah panjang, sehingga tidak mudah untuk mengabaikannya sepenuhnya. Prediksi khususnya, memiliki beberapa solusi nonparametrik yang mengesankan yang banyak digunakan sebagai alat pilihan pertama saat ini. Saya pikir ini adalah salah satu alasan bahwa teknik Machine Learning seperti jaringan saraf dan pohon keputusan, yang pada dasarnya nonparametrik, telah mendapatkan popularitas luas selama beberapa tahun terakhir.

Ini adalah masalah kekuatan statistik. Tes non-parametrik umumnya memiliki kekuatan statistik yang lebih rendah daripada rekan parametrik mereka.

Sudah banyak jawaban bagus tetapi ada beberapa alasan yang belum saya lihat disebutkan:

1. Keakraban. Bergantung pada audiens Anda, hasil parameterik mungkin jauh lebih akrab daripada yang non-parametrik kasar. Jika keduanya memberikan kesimpulan yang sama, maka keakraban itu baik.

2. Kesederhanaan. Terkadang, tes parametrik lebih mudah dilakukan dan dilaporkan. Beberapa metode nonparametrik sangat intensif komputer. Tentu saja, komputer menjadi jauh lebih cepat dan algoritme telah meningkat juga, tetapi .... data telah menjadi "lebih besar".

   3. Kadang-kadang apa yang biasanya merupakan kerugian dari tes parametrik sebenarnya merupakan keuntungan, meskipun ini khusus untuk pasangan tes tertentu. Sebagai contoh, saya, pada umumnya, penggemar regresi kuantil karena membuat lebih sedikit asumsi daripada metode biasa. Tapi kadang-kadang Anda benar-benar perlu memperkirakan nilai tengah, bukan median.