Statistik dan Big Data

Bagaimana model efek campuran (linier) secara normal dibandingkan satu sama lain? Saya tahu tes rasio kemungkinan dapat digunakan, tetapi ini tidak berhasil jika satu model bukan 'bagian' dari yang lain yang benar? Apakah estimasi model selalu mudah? Jumlah efek tetap + jumlah komponen varian diperkirakan? Apakah kita mengabaikan perkiraan efek …

22 hypothesis-testing  mixed-model  cross-validation  aic  degrees-of-freedom 

Seperti yang saya pahami, saya perlu tahu setidaknya tiga aspek (dari empat) studi yang saya usulkan untuk melakukan analisis kekuatan, yaitu: jenis tes - Saya bermaksud menggunakan Pearson r dan ANCOVA / Regression - GLM tingkat signifikansi (alpha) - Saya bermaksud menggunakan 0,05 ukuran efek yang diharapkan - Saya bermaksud …

22 power-analysis 

Ketika mencoba untuk memilih di antara berbagai model atau sejumlah fitur untuk disertakan, katakan prediksi saya dapat memikirkan dua pendekatan. Membagi data menjadi pelatihan dan set tes. Lebih baik lagi, gunakan bootstrap atau k-fold cross-validation. Latihlah set latihan setiap kali dan hitung kesalahan dari set tes. Plot test error vs. …

22 bayesian  model-selection  cross-validation  feature-selection 

Saya mencoba memasukkan satu data deret waktu (tanpa ulangan) menggunakan model regresi. Data terlihat seperti berikut: > xx.2 value time treat 1 8.788269 1 0 2 7.964719 6 0 3 8.204051 12 0 4 9.041368 24 0 5 8.181555 48 0 6 8.041419 96 0 7 7.992336 144 0 8 …

22 r  regression  statistical-significance  anova  p-value 

Pertama, saya bukan ahli statistik. Namun, saya telah melakukan analisis jaringan statistik untuk PhD saya. Sebagai bagian dari analisis jaringan, saya merencanakan Fungsi Distribusi Kumulatif Pelengkap (CCDF) dari derajat jaringan. Apa yang saya temukan adalah bahwa, tidak seperti distribusi jaringan konvensional (mis. WWW), distribusi paling baik dipasang oleh distribusi lognormal. …

22 curve-fitting  networks  lognormal  power-law 

Saya memiliki beberapa pertanyaan yang berkaitan erat tentang pelajar yang lemah dalam pembelajaran ensemble (misalnya meningkatkan). Ini mungkin terdengar bodoh, tetapi apa manfaat menggunakan yang lemah sebagai lawan dari pelajar yang kuat? (mis. mengapa tidak meningkatkan dengan metode pembelajaran "kuat"?) Apakah ada semacam kekuatan "optimal" untuk peserta didik yang lemah …

22 machine-learning  boosting  ensemble 

Adakah yang mencoba prediksi deret waktu menggunakan regresi vektor dukungan? Saya memahami mesin dukungan vektor dan sebagian memahami dukungan vektor regresi, tetapi saya tidak mengerti bagaimana mereka dapat digunakan untuk memodelkan deret waktu, terutama deret waktu multivarian. Saya sudah mencoba membaca beberapa makalah, tetapi tingkatannya terlalu tinggi. Adakah yang bisa …

22 time-series  machine-learning  svm 

Konteks: Sementara saya telah memperoleh satu set heuristik tentang cara memplot secara efektif hubungan antara dua variabel numerik. Saya membayangkan sebagian besar orang yang bekerja dengan data akan memiliki seperangkat aturan yang sama. Contoh aturan tersebut mungkin: Jika salah satu variabel condong positif, pertimbangkan untuk memplot sumbu itu pada skala …

22 data-visualization  correlation  teaching  rule-of-thumb  scatterplot 

Koefisien Pearson antara dua variabel cukup tinggi (r = .65). Tetapi ketika saya peringkat nilai variabel dan menjalankan korelasi Spearman, nilai cofficient jauh lebih rendah (r = .30). Apa interpretasi dari ini?

22 correlation  spearman-rho 

Saya punya pertanyaan tentang variabel acak. Mari kita asumsikan bahwa kita memiliki dua variabel acak dan Y . Katakanlah X adalah Poisson terdistribusi dengan parameter λ 1 , dan Y adalah Poisson terdistribusi dengan parameter λ 2 .XXXYYYXXXλ1λ1\lambda_1YYYλ2λ2\lambda_2 Ketika Anda membuat fraktur dari dan menyebutnya variabel acak Z , bagaimana …

22 random-variable  poisson-distribution 

Misalkan saya memiliki model berikut ysaya= f( xsaya, θ ) + εsayayi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i di mana ysaya∈ RKysaya∈RKy_i\in \mathbb{R}^K , xsayaxsayax_i adalah vektor dari variabel penjelas, θθ\theta adalah parameter fungsi non-linear fff dan εsaya∼ N( 0 , Σ )εsaya∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma) , di mana ΣΣ\Sigma alami adalah K× KK×KK\times K matriks. Tujuannya adalah …

22 maximum-likelihood  optimization  covariance 

Saya pikir ekor berat = ekor gemuk, tetapi beberapa artikel yang saya baca memberi saya perasaan bahwa itu bukan ekor. Salah satunya mengatakan: heavy tail berarti distribusi memiliki jth moment tak terbatas untuk beberapa integer j. Selain itu semua dfs dalam pot-domain tarik-menarik Pareto df berekor berat. Jika kepadatan memiliki …

22 distributions 

Ini agak terkait dengan pertanyaan lain yang saya ajukan. Pertanyaan saya adalah, ketika melakukan pengujian hipotesis, ketika hipotesis alternatif adalah rentang, hipotesis nol masih merupakan nilai poin. Sebagai contoh, ketika menguji apakah koefisien korelasi lebih besar dari 0,5, hipotesis nol adalah "korelasi = 0,5", bukan "korelasi <= 0,5". Mengapa demikian? …

22 hypothesis-testing 

Anda dapat menggunakan dataset decathlon {FactoMineR} untuk mereproduksi ini. Pertanyaannya adalah mengapa nilai eigen yang dikomputasi berbeda dari nilai matriks kovarians. Berikut adalah nilai-nilai eigen yang digunakan princomp: > library(FactoMineR);data(decathlon) > pr <- princomp(decathlon[1:10], cor=F) > pr$sd^2 Comp.1 Comp.2 Comp.3 Comp.4 Comp.5 Comp.6 1.348073e+02 2.293556e+01 9.747263e+00 1.117215e+00 3.477705e-01 1.326819e-01 Comp.7 …

22 r  pca 

Konteks: Dalam upaya untuk menyusun potongan-potongan pusat yang saya temui dalam teori probabilitas dan statika, saya membuat dokumen referensi yang berfokus pada hal-hal penting matematika (tersedia di sini ). Dengan membagikan dokumen ini, saya berharap dapat memberikan kepada siswa statistik ringkasan komprehensif dari materi inti yang diajarkan dalam kursus pascasarjana …

22 teaching