Statistik dan Big Data

Saya menggunakan paket caret untuk melatih objek randomForest dengan 10x10CV. library(caret) tc <- trainControl("repeatedcv", number=10, repeats=10, classProbs=TRUE, savePred=T) RFFit <- train(Defect ~., data=trainingSet, method="rf", trControl=tc, preProc=c("center", "scale")) Setelah itu, saya menguji randomForest pada testSet (data baru) RF.testSet$Prediction <- predict(RFFit, newdata=testSet) Matriks kebingungan menunjukkan kepada saya, bahwa modelnya tidak terlalu buruk. …

12 r  random-forest  prediction  caret 

Sudah mapan, setidaknya di antara ahli statistik dari beberapa kaliber lebih tinggi, bahwa model dengan nilai-nilai statistik AIC dalam batas tertentu dari nilai minimum harus dianggap sesuai dengan model meminimalkan statistik AIC. Sebagai contoh, dalam [1, hal.221] kita temukan Maka model dengan GCV kecil atau AIC akan dianggap yang terbaik. …

12 time-series  model-selection  aic 

Adakah yang tahu mengapa korelasi bersyarat antara 2 variabel disebut korelasi "parsial" dan korelasi sederhana di antara mereka (jadi, ketika tidak dikondisikan pada variabel lain) disebut korelasi "marginal"? Apa intuisi di balik kata "parsial" dan "marjinal"? Apa yang mereka lakukan dengan "bagian" atau "margin"? Akan baik untuk mempelajari jawabannya untuk …

12 correlation  terminology  marginal  partial-correlation 

Misalkan saya memiliki fungsi menghasilkan momen bersama untuk distribusi bersama dengan CDF . Apakah keduanya merupakan kondisi yang diperlukan dan cukup untuk independensi dan ? Saya memeriksa beberapa buku teks, yang hanya menyebutkan keperluan:F X , Y ( x , y ) M X , Y ( s , t …

12 probability  independence  joint-distribution  mgf 

Saya menyesuaikan kurva pada data saya untuk mengekstrak satu parameter. Namun, saya tidak yakin kepastian dari parameter itu dan bagaimana saya akan menghitung / menyatakan interval kepercayaan % nya.959595 Katakanlah untuk dataset yang berisi data yang secara eksponensial meluruh, saya cocokkan kurva untuk setiap dataset. Maka informasi yang ingin saya …

12 confidence-interval  nonlinear-regression  fitting 

Dalam teorema Bayesian, , dan dari buku yang saya baca, disebut sebagai kemungkinan , tapi saya menganggap itu hanya probabilitas bersyarat dari diberikan , kan? p(x|y)p ( y| x)= p ( x | y) p ( y)p ( x )p(y|x)=p(x|y)p(y)p(x)p(y|x) = \frac{p(x|y)p(y)}{p(x)}p ( x | y)p(x|y)p(x|y)yxxxyyy The maksimum estimasi kemungkinan …

12 bayesian  maximum-likelihood 

Bagaimana cara menghitung ketidakpastian kemiringan regresi linier berdasarkan ketidakpastian data (mungkin dalam Excel / Mathematica)? Contoh: Mari kita memiliki titik data (0,0), (1,2), (2,4), (3,6), (4,8), ... (8, 16), tetapi setiap nilai y memiliki ketidakpastian 4. Sebagian besar fungsi yang saya temukan akan menghitung ketidakpastian sebagai 0, karena poinnya cocok …

12 regression  uncertainty 

Pengambilan sampel dengan penggantian memiliki dua keunggulan dibandingkan pengambilan sampel tanpa penggantian seperti yang saya lihat: 1) Anda tidak perlu khawatir tentang koreksi populasi terbatas. 2) Ada kemungkinan elemen-elemen dari populasi diambil beberapa kali - maka Anda dapat mendaur ulang pengukuran dan menghemat waktu. Tentu saja dari POV akademik kita …

12 sampling  finite-population 

Saya kira saya memahami persamaan kondisi keseimbangan terperinci, yang menyatakan bahwa untuk probabilitas transisi dan distribusi stasioner , Rantai Markov memenuhi keseimbangan terperinci jikaπ q ( x | y ) π ( y ) = q ( y | x ) π ( x ) ,qqqππ\piq( x | y) π( …

12 probability  mcmc  markov-process 

Bagaimana Anda melakukan tes hipotesis dengan data besar? Saya menulis skrip MATLAB berikut untuk menekankan kebingungan saya. Yang dilakukannya hanyalah menghasilkan dua seri acak, dan menjalankan regresi linier sederhana dari satu variabel di variabel lainnya. Itu melakukan regresi ini beberapa kali menggunakan nilai acak yang berbeda dan rata-rata laporan. Apa …

12 hypothesis-testing  large-data 

Apakah wikipedia salah ... atau saya tidak memahaminya? Wikipedia: Kotak putih dan hitam ("pola catur") tersebar dengan sempurna sehingga Moran's saya akan −1. Jika kotak putih ditumpuk ke setengah papan dan kotak hitam ke yang lain, Moran's saya akan mendekati +1. Susunan acak warna kotak akan memberikan nilai Moran's I …

12 r  autocorrelation  spatial  pattern-recognition 

Berapakah kisaran korelasi yang dapat dicapai untuk pasangan variabel acak terdistribusi eksponensial dan , di mana adalah parameter tingkat?X1∼Exp(λ1)X1∼Exp(λ1)X_1 \sim {\rm Exp}(\lambda_1)X2∼Exp(λ2)X2∼Exp(λ2)X_2 \sim {\rm Exp}(\lambda_2)λ1,λ2>0λ1,λ2>0\lambda_1, \lambda_2 > 0

12 correlation  exponential 

Sunting utama: Saya ingin mengucapkan terima kasih yang sebesar-besarnya kepada Dave & Nick sejauh ini atas tanggapan mereka. Kabar baiknya adalah bahwa saya mendapatkan loop untuk bekerja (prinsip dipinjam dari posting Prof Hydnman pada peramalan batch). Untuk mengkonsolidasikan kueri yang beredar: a) Bagaimana cara meningkatkan jumlah iterasi maksimum untuk auto.arima …

12 forecasting  arima  predictor  seasonality  multiple-seasonalities 

Saya bertanya-tanya bagaimana "proses stasioner urutan kedua" -nya didefinisikan dalam Pengantar dan Peramalan Waktu Brockwell dan Davis : Kelas model deret waktu linier, yang meliputi kelas model rata-rata bergerak autoregresif (ARMA), menyediakan kerangka kerja umum untuk mempelajari proses stasioner. Faktanya, setiap proses stasioner orde kedua adalah proses linier atau dapat …

12 time-series 

Saya memiliki regresi linier yang cukup bagus, saya kira (ini untuk proyek universitas jadi saya tidak benar-benar harus super akurat). Intinya adalah, jika saya memplot residu vs nilai prediksi, ada (menurut guru saya) sedikit heteroskedastisitas. Tetapi jika saya memplot QQ-Plot dari residu, jelas bahwa mereka terdistribusi secara normal. Selain itu, …

12 regression  normal-distribution  residuals  heteroscedasticity