Statistik dan Big Data

Saya telah melihat beberapa kali orang menolak nol dalam tes Dickey-Fuller yang diperbesar , dan kemudian mengklaim bahwa itu menunjukkan seri mereka diam (sayangnya, saya tidak dapat menunjukkan sumber klaim ini, tetapi saya membayangkan klaim serupa ada di sana-sini di satu atau jurnal lain). Saya berpendapat bahwa ini adalah kesalahpahaman …

18 time-series  unit-root  stationarity  augmented-dickey-fuller 

Setelah membaca Galit Shmueli "To Explain or to Predict" (2010) saya bingung dengan kontradiksi yang nyata. Ada tiga tempat, Pilihan model berbasis AIC- dibandingkan BIC (akhir hal. 300 - awal hal. 301): sederhananya, AIC harus digunakan untuk memilih model yang dimaksudkan untuk prediksi sedangkan BIC harus digunakan untuk memilih model …

18 forecasting  model-selection  feature-selection  aic  bic 

Baru-baru ini saya menemukan cara memodelkan eksposur dari waktu ke waktu menggunakan log (misalnya) waktu sebagai offset dalam regresi Poisson. Saya mengerti bahwa offset berhubungan dengan memiliki waktu sebagai kovariat dengan koefisien 1. Saya ingin lebih memahami perbedaan antara menggunakan waktu sebagai penyeimbang atau sebagai kovariat normal (oleh karena itu …

18 poisson-regression  predictor  offset 

Bisakah saya mendapatkan bantuan untuk menyelesaikan upaya sementara (sedang berlangsung) untuk mendapatkan posisi yang sesuai dengan ANOVA dan REGRESI? Saya telah berusaha mendamaikan konsep, nomenklatur dan sintaksis dari kedua metodologi ini. Ada banyak posting di situs ini tentang kesamaan mereka, misalnya ini atau ini , tetapi masih bagus untuk memiliki …

18 regression  anova  mixed-model 

Saya telah melihat dan menikmati pertanyaan Memahami analisis komponen utama , dan sekarang saya memiliki pertanyaan yang sama untuk analisis komponen independen. Maksud saya, saya ingin membuat pertanyaan komprehensif tentang cara intuitif untuk memahami ICA? Saya ingin memahaminya . Saya ingin mendapatkan tujuan itu. Saya ingin merasakannya. Saya sangat mempercayai …

18 intuition  ica 

Saya tahu bahwa untuk mengakses kinerja classifier saya harus membagi data menjadi set pelatihan / tes. Tetapi membaca ini : Ketika mengevaluasi pengaturan yang berbeda ("hyperparameters") untuk estimator, seperti pengaturan C yang harus ditetapkan secara manual untuk SVM, masih ada risiko overfitting pada set tes karena parameter dapat di-tweak sampai …

18 machine-learning  cross-validation 

Dalam literatur saya kadang-kadang menemukan komentar, bahwa memilih prior yang bergantung pada data itu sendiri (misalnya Zellners g-prior) dapat dikritik dari sudut pandang teoretis. Di mana sebenarnya masalahnya jika prior tidak dipilih independen dari data?

18 bayesian  prior  hierarchical-bayesian 

Mari dan , . Apa harapan sebagai ?X1∼ U[ 0 , 1 ]X1∼U[0,1]X_1 \sim U[0,1]Xsaya∼ U[ Xi - 1, 1 ]Xsaya∼U[Xsaya-1,1]X_i \sim U[X_{i - 1}, 1]i = 2 , 3 , . . .saya=2,3,...i = 2, 3,...X1X2⋯ XnX1X2⋯XnX_1 X_2 \cdots X_nn → ∞n→∞n \rightarrow \infty

18 mathematical-statistics  random-variable  expected-value 

Misalkan saya melakukan validasi silang K-fold dengan K = 10 lipatan. Akan ada satu matriks kebingungan untuk setiap lipatan. Saat melaporkan hasil, haruskah saya menghitung berapa matriks kebingungan rata-rata, atau hanya menjumlahkan matriks kebingungan?

18 machine-learning  cross-validation  accuracy 

Saya ingin menemukan cara untuk mengukur intensitas bimodality dari beberapa distribusi yang saya dapatkan secara empiris. Dari apa yang saya baca, masih ada beberapa perdebatan tentang cara mengukur bimodality. Saya memilih untuk menggunakan tes dip Hartigans 'yang tampaknya menjadi satu-satunya yang tersedia di R (kertas asli: http://www.stat.washington.edu/wxs/Stat593-s03/Literature/hartigan85a.pdf ). Uji celup …

18 r  distributions 

Pertanyaan Apa yang harus disimpulkan dari plot laso ini (glmnet) menunjukkan jalur solusi untuk estimator laso yang tidak monoton. Artinya, beberapa kopi tumbuh dalam nilai absolut sebelum menyusut. Saya telah menerapkan model ini pada beberapa jenis kumpulan data yang berbeda dan tidak pernah melihat perilaku ini "di alam liar," dan …

18 lasso  ridge-regression  elastic-net 

Dari Pengantar Pembelajaran Statistik oleh James et al., Taksiran lintas-validasi silang (LOOCV) taksiran didefinisikan oleh mana .CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2 Tanpa bukti, persamaan (5.2) menyatakan bahwa untuk regresi kuadrat-terkecil atau polinomial (apakah ini berlaku untuk regresi hanya pada satu variabel tidak diketahui oleh saya), mana " berada yang th …

18 regression  self-study  cross-validation  least-squares 

Ada posting yang cukup lama di blog William Briggs yang melihat perangkap data smoothing dan membawa data yang dihaluskan melalui analisis. Argumen kuncinya adalah: Jika, pada saat kegilaan, Anda melakukan data deret waktu yang lancar dan Anda menggunakannya sebagai input untuk analisis lain, Anda secara dramatis meningkatkan kemungkinan menipu diri …

18 time-series  smoothing 

Saya ingin menerapkan biplot untuk analisis komponen utama (PCA) dalam JavaScript. Pertanyaan saya adalah, bagaimana cara menentukan koordinat panah dari keluaran dari dekomposisi vektor singular (SVD) dari matriks data?U,V,DU,V,DU,V,D Berikut adalah contoh biplot yang diproduksi oleh R: biplot(prcomp(iris[,1:4])) Saya mencoba mencarinya di artikel Wikipedia tentang biplot tetapi tidak terlalu berguna. …

18 pca  svd  biplot 

Saya menggunakan K-means untuk mengelompokkan data saya dan sedang mencari cara untuk menyarankan nomor cluster "optimal". Statistik gap tampaknya menjadi cara umum untuk menemukan nomor cluster yang baik. Untuk beberapa alasan ia mengembalikan 1 sebagai nomor cluster optimal, tetapi ketika saya melihat data jelas bahwa ada 2 cluster: Ini adalah …

18 r  machine-learning  clustering  k-means