Statistik dan Big Data

Seorang mantan kolega pernah berdebat dengan saya sebagai berikut: Kami biasanya menerapkan tes normalitas pada hasil proses yang, di bawah nol, menghasilkan variabel acak yang hanya asimtotik atau hampir normal (dengan bagian 'asimtotik' bergantung pada beberapa kuantitas yang tidak dapat kami hasilkan besar); Di era memori murah, data besar, dan …

298 hypothesis-testing  normality-assumption  philosophical 

Dalam beberapa literatur, saya telah membaca bahwa regresi dengan berbagai variabel penjelas, jika dalam unit yang berbeda, perlu distandarisasi. (Standarisasi terdiri dari pengurangan mean dan pembagian dengan deviasi standar.) Dalam kasus lain apa saya perlu melakukan standarisasi data? Apakah ada kasus di mana saya hanya harus memusatkan data saya (yaitu, …

281 multiple-regression  standardization  centering 

Dalam istilah sederhana, bagaimana Anda menjelaskan (mungkin dengan contoh sederhana) perbedaan antara model efek tetap, efek acak dan campuran?

269 mixed-model  random-effects-model  definition  fixed-effects-model 

Saya tersesat dalam normalisasi, dapatkah seseorang membimbing saya? Saya memiliki nilai minimum dan maksimum, masing-masing -23,89 dan 7,54990767. Jika saya mendapatkan nilai 5,6878 bagaimana saya bisa skala nilai ini pada skala 0 hingga 1.

266 normalization 

Dari Wikipedia , ada tiga interpretasi tentang derajat kebebasan suatu statistik: Dalam statistik, jumlah derajat kebebasan adalah jumlah nilai dalam penghitungan akhir suatu statistik yang bebas bervariasi . Perkiraan parameter statistik dapat didasarkan pada jumlah informasi atau data yang berbeda. Jumlah potongan informasi independen yang masuk ke dalam estimasi parameter …

257 interpretation  degrees-of-freedom  intuition 

Apa kutipan statistik favorit Anda? Ini adalah wiki komunitas, jadi tolong satu kutipan per jawaban.

248 references  history 

Setelah mengambil kursus statistik dan kemudian mencoba membantu sesama siswa, saya perhatikan satu mata pelajaran yang menginspirasi banyak banging kepala kantor adalah menafsirkan hasil tes hipotesis statistik. Tampaknya siswa dengan mudah belajar bagaimana melakukan perhitungan yang diperlukan oleh tes yang diberikan tetapi terbiasa menafsirkan hasil. Banyak alat yang terkomputerisasi melaporkan …

246 hypothesis-testing  p-value  interpretation  intuition  canonical-question 

Apa persamaan dan perbedaan antara 3 metode ini: Mengantongi, Meningkatkan, Susun? Mana yang terbaik? Dan mengapa? Bisakah Anda memberi saya contoh untuk masing-masing?

245 machine-learning  boosting  ensemble  bagging  model-averaging 

Saya membaca bahwa 'jarak Euclidean bukan jarak yang baik dalam dimensi tinggi'. Saya kira pernyataan ini ada hubungannya dengan kutukan dimensi, tetapi apa sebenarnya? Selain itu, apa itu 'dimensi tinggi'? Saya telah menerapkan pengelompokan hierarkis menggunakan jarak Euclidean dengan 100 fitur. Hingga berapa banyak fitur yang aman untuk menggunakan metrik …

241 machine-learning  clustering  distance-functions  metric  high-dimensional 

Mungkin konsepnya, mengapa itu digunakan, dan sebuah contoh.

240 bayesian  mcmc  intuition  teaching 

Halaman bantuan di R menganggap saya tahu apa arti angka-angka itu, tetapi saya tidak tahu. Saya mencoba untuk benar-benar memahami setiap angka di sini. Saya hanya akan memposting output dan mengomentari apa yang saya temukan. Mungkin ada (akan) kesalahan, karena saya hanya akan menulis apa yang saya asumsikan. Terutama saya …

234 r  regression  interpretation 

Saya membaca beberapa catatan kuliah oleh Cosma Shalizi (khususnya, bagian 2.1.1 dari kuliah kedua ), dan diingatkan bahwa Anda bisa mendapatkan sangat rendah bahkan ketika Anda memiliki model yang sepenuhnya linier.R2R2R^2 Mengutip contoh Shalizi: misalkan Anda memiliki model , di mana dikenal. Kemudian dan jumlah varian yang dijelaskan adalah ^ …

233 regression  r-squared 

Pertukaran Joris dan Srikant di sini membuat saya bertanya-tanya (lagi) apakah penjelasan internal saya untuk perbedaan antara interval kepercayaan dan interval kredibel adalah yang benar. Bagaimana Anda akan menjelaskan perbedaannya?

229 bayesian  confidence-interval  frequentist  credible-interval  fiducial 

Dicari tinggi dan rendah dan belum dapat menemukan apa AUC, seperti yang terkait dengan prediksi, singkatan atau artinya.

228 classification  prediction  roc  auc  abbreviation 

Tampaknya melalui berbagai pertanyaan terkait di sini, terdapat konsensus bahwa bagian "95%" dari apa yang kita sebut "interval kepercayaan 95%" mengacu pada fakta bahwa jika kita harus secara tepat mereplikasi prosedur pengambilan sampel dan perhitungan CI kita berkali-kali. , 95% dari CI yang dihitung demikian akan mengandung rata-rata populasi. Tampaknya …

228 probability  confidence-interval  sampling  mean  population