Statistik dan Big Data

Saya sedang mengerjakan validasi silang dari prediksi data saya dengan 200 subjek dan 1000 variabel. Saya tertarik regresi ridge karena jumlah variabel (saya ingin menggunakan) lebih besar dari jumlah sampel. Jadi saya ingin menggunakan estimator penyusutan. Berikut ini adalah contoh data: #random population of 200 subjects with 1000 variables M …

9 r  cross-validation  prediction  ridge-regression 

Saya menyadari bahwa ada 3 parameter penyetelan dalam model meningkatkan pohon, yaitu jumlah pohon (jumlah iterasi) parameter penyusutan jumlah pemisahan (ukuran masing-masing pohon penyusun) Pertanyaan saya adalah: untuk setiap parameter penyetelan, bagaimana saya harus menemukan nilai optimalnya? Dan metode apa? Perhatikan bahwa: parameter susut dan jumlah parameter pohon beroperasi bersama, …

9 machine-learning  cross-validation  computational-statistics  boosting  gbm 

Saya memasang glmermodel dalam lme4paket R. Saya mencari tabel anova dengan nilai p yang ditunjukkan di sini, tetapi saya tidak dapat menemukan paket yang cocok. Apakah mungkin melakukannya di R? Model yang saya pas adalah dalam bentuk: model1<-glmer(dmn~period*teethTreated+(1|fullName), family="poisson", data=subset(dataset, group=='Four times a year'), control=glmerControl(optimizer="bobyqa"))

9 r  anova  lme4-nlme  mixed-model 

Saya punya pertanyaan tentang cara memodelkan teks pada jumlah data, khususnya bagaimana saya bisa menggunakan lassoteknik ini untuk mengurangi fitur. Katakanlah saya punya N artikel online dan jumlah tayangan laman untuk setiap artikel. Saya telah mengekstrak 1 gram dan 2 gram untuk setiap artikel dan saya ingin menjalankan regresi lebih …

9 poisson-distribution  lasso  glmnet  overdispersion  penalized 

Hibah sering memerlukan analisis daya untuk mendukung ukuran sampel yang diusulkan. Dalam proteomik (dan sebagian besar -omik), ada 100 hingga 1000 fitur / variabel yang diukur pada 10 sampel (mungkin 100-an, tetapi tidak mungkin). Juga, diketahui bahwa beberapa unit pengukuran ini (misalnya, jumlah spektral protein) tidak terdistribusi secara normal sehingga …

9 nonparametric  power-analysis 

Saya mengalami kesulitan menafsirkan plot interaksi ketika ada interaksi antara dua variabel independen. Grafik berikut berasal dari situs ini : Di sini, dan adalah variabel independen dan adalah variabel dependen.B D VSEBUAHAABBBD VDVDV Pertanyaan: Ada interaksi dan efek utama , tetapi tidak ada efek utamaBSEBUAHAABBB Saya dapat melihat bahwa semakin …

9 data-visualization  interaction  interpretation 

Saya memiliki kumpulan data sekitar 5000 fitur. Untuk data itu saya pertama kali menggunakan uji Chi Square untuk pemilihan fitur; setelah itu, saya mendapat sekitar 1500 variabel yang menunjukkan hubungan signifikan dengan variabel respon. Sekarang saya harus menyesuaikan regresi logistik. Saya menggunakan paket glmulti untuk R (paket glmulti menyediakan pilihan …

9 r  logistic  generalized-linear-model  modeling  regression-strategies 

Pertanyaannya mengatakan itu semua. Saya telah membaca keduanya bahwa seseorang tidak dapat menggeneralisasi KS ke dimensi yang sama atau lebih besar dari dua , dan bahwa implementasi terkenal seperti itu dalam Numerical Recipes benar -benar salah. Bisakah Anda jelaskan mengapa demikian?

9 kolmogorov-smirnov  bivariate  ecdf 

Saya mencari algoritma regresi linier yang paling cocok untuk data yang variabel independennya (x) memiliki kesalahan pengukuran konstan dan variabel dependen (y) memiliki kesalahan tergantung sinyal. Gambar di atas menggambarkan pertanyaan saya.

9 regression  linear-model  measurement-error  measurement 

Saya memiliki fungsi yang mengembalikan waktu tunggu rata-rata untuk pengguna web. Artinya, ini memberikan waktu rata-rata bahwa pengguna rata-rata dapat tinggal di halaman web, mengingat panjang sumber daya web dalam kata-kata. Saya ingin menggunakan fungsi ini (dan rata-rata yang dihasilkan) bersamaan dengan distribusi untuk memodelkan 'pengguna web rata-rata' yang menjelajahi …

9 distributions 

Saya ingin memasukkan istilah xxx dan kuadrat x2x2x^2 (variabel prediktor) ke dalam regresi karena saya berasumsi bahwa nilai rendah xxx memiliki efek positif pada variabel dependen dan nilai-nilai tinggi memiliki efek negatif. The x2x2x^2 harus menangkap efek dari nilai-nilai yang lebih tinggi. Karena itu saya berharap bahwa koefisien xxx akan …

9 regression  multiple-regression  polynomial  centering 

Saya punya data ini: set.seed(1) predictor <- rnorm(20) set.seed(1) counts <- c(sample(1:1000, 20)) df <- data.frame(counts, predictor) Saya menjalankan regresi poisson poisson_counts <- glm(counts ~ predictor, data = df, family = "poisson") Dan regresi binomial negatif: require(MASS) nb_counts <- glm.nb(counts ~ predictor, data = df) Lalu saya menghitung statistik dispersi …

9 generalized-linear-model  residuals  negative-binomial  poisson-regression  dispersion 

Secara default ketika kami menggunakan glmfungsi dalam R, ia menggunakan metode iteratively reweighted least square (IWLS) untuk menemukan estimasi kemungkinan maksimum parameter. Sekarang saya punya dua pertanyaan. Apakah estimasi IWLS menjamin maksimum global dari fungsi kemungkinan? Berdasarkan slide terakhir dalam presentasi ini , saya pikir tidak! Saya hanya ingin memastikan …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

Saya meninjau makalah berbasis aplikasi yang mengatakan bahwa menerapkan PCA sebelum menerapkan ICA (menggunakan paket fastICA). Pertanyaan saya adalah, apakah ICA (fastICA) mengharuskan PCA dijalankan terlebih dahulu? Makalah ini menyebutkan itu ... juga berpendapat bahwa pra-penerapan PCA meningkatkan kinerja ICA dengan (1) membuang nilai eigen trailing kecil sebelum memutihkan dan …

9 pca  dimensionality-reduction  pattern-recognition  ica 

Saya ragu: pertimbangkan variabel acak bernilai XXX dan ZZZ keduanya didefinisikan pada ruang probabilitas (Ω,F,P)(Ω,F,P)(\Omega, \mathcal{F},\mathbb{P}) . Misalkan Y:=g(X,Z)Y:=g(X,Z)Y:= g(X,Z) , di mana g(⋅)g(⋅)g(\cdot) adalah fungsi bernilai riil. Karena YYY adalah fungsi dari variabel acak, itu adalah variabel acak. Biarkan x:=X(ω)x:=X(ω)x:=X(\omega) yaitu realisasi XXX . Apakah P(Y|X=x)=P(g(X,Z)|X=x)P(Y|X=x)=P(g(X,Z)|X=x)\mathbb{P}(Y|X=x)=\mathbb{P}(g(X,Z)|X=x) sama dengan P(g(x,Z))P(g(x,Z))\mathbb{P}(g(x,Z)) …

9 probability  random-variable